公开(公告)号：CN114078226B

公开(公告)日：2024-07-02

申请号：CN202111411477.5

申请日：2021-11-25

Applicant: 北京理工大学

Inventor： 甘明刚 ,  苏绍文 ,  王晴 ,  张琰 ,  何玉轩 ,  马千兆 ,  刘晋廷 ,  杜尧

IPC: G06V20/40 ,  G06V40/20 ,  G06V10/764 ,  G06V10/74

Abstract: 本发明提出了一种基于动作管道在线关联的智联生产线行为识别方法，采用多标准相似性匹配的动作管道在线关联算法，能够得到更精准的视频级动作检测结果。本发明采用视觉传感器获取生产线视频数据，经帧级动作检测模型实时检测输出检测框，采用包含类别一致性、类别置信度、空间重叠程度、外观相似性以及时空相似性的多标准相似性匹配的原则对检测框进行在线关联，实时输出视频级行为识别结果，即动作管道，提升了行为识别的准确性，尤其是对于空间位置变化大、速度快的行为类别，其识别效果取得了明显提升，更加适应智联生产线上的复杂应用场景。

公开(公告)号：CN116311505A

公开(公告)日：2023-06-23

申请号：CN202310141056.8

申请日：2023-02-16

Applicant: 北京理工大学

Inventor： 甘明刚 ,  刘晋廷 ,  陈杰 ,  辛斌 ,  杨庆凯 ,  曾宪琳 ,  杜尧 ,  马千兆

IPC: G06V40/20 ,  G06V10/82 ,  G06N3/092 ,  G06V10/764

Abstract: 本发明涉及智能生产线人机协作技术领域，特别涉及一种基于深度强化学习与双特征双运动神经网络的手部动作识别方法。首先训练双特征双运动神经网络，然后构建深度强化学习挑选帧网络，并根据构建的挑选帧网络挑选关键帧，再将关键帧输入进双特征双运动神经网络，进行再训练，得到新的网络模型；最后将测试集的手部骨架序列输入到深度强化学习挑选帧网络中，并挑选关键帧，将挑选出的关键帧输入新的网络模型中，最终得到测试集中手部骨架动作序列的分类结果。本发明的方法通过马尔科夫决策过程选取关键帧，去除骨架序列中的不明确帧，提高了神经网络模型对手部骨架序列的识别性能。

公开(公告)号：CN117877104A

公开(公告)日：2024-04-12

申请号：CN202311508338.3

申请日：2023-11-13

Applicant: 北京理工大学

Inventor： 甘明刚 ,  刘晋廷 ,  曹雨 ,  陈杰 ,  王晴 ,  马千兆 ,  杜尧

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明涉及智能生产线人机协作技术领域，特别涉及一种基于多模态多层次注意力机制的半监督手部骨架动作识别方法。本发明的方法包括获取多模态数据，构建基于多层次注意力机制的半监督手部骨架动作识别模型，对聚合后的特征进行半监督训练，将测试集中的手部骨架序列输入到训练好的半监督手部骨架动作识别模型中，最终得到手部骨架动作的分类结果。本发明的方法通过构建多层次自注意力模块来处理无标记数据的多模态特征，并设计了多模态多层次对比损失函数来进行半监督训练，实现了对无标记数据的有效利用，提升了在大量无标记数据情况下模型对手部骨架动作的识别性能。

公开(公告)号：CN114078226A

公开(公告)日：2022-02-22

申请号：CN202111411477.5

申请日：2021-11-25

Applicant: 北京理工大学

Inventor： 甘明刚 ,  苏绍文 ,  王晴 ,  张琰 ,  何玉轩 ,  马千兆 ,  刘晋廷 ,  杜尧

IPC: G06V20/40 ,  G06V40/20 ,  G06V10/764 ,  G06K9/62

Abstract: 本发明提出了一种基于动作管道在线关联的智联生产线行为识别方法，采用多标准相似性匹配的动作管道在线关联算法，能够得到更精准的视频级动作检测结果。本发明采用视觉传感器获取生产线视频数据，经帧级动作检测模型实时检测输出检测框，采用包含类别一致性、类别置信度、空间重叠程度、外观相似性以及时空相似性的多标准相似性匹配的原则对检测框进行在线关联，实时输出视频级行为识别结果，即动作管道，提升了行为识别的准确性，尤其是对于空间位置变化大、速度快的行为类别，其识别效果取得了明显提升，更加适应智联生产线上的复杂应用场景。