公开(公告)号：CN116935486A

公开(公告)日：2023-10-24

申请号：CN202310901374.X

申请日：2023-07-21

Applicant: 南京邮电大学

Inventor： 戴华 ,  李惠 ,  周倩 ,  陈润桓 ,  杨庚 ,  吴昊哲

IPC: G06V40/20 ,  G06V10/80 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明属于手语识别技术领域，公开了一种基于骨骼关节点和图像模态融合的手语识别方法及系统，识别方法包括：将手语骨骼关节点数据进行区域划分，输入至预设的图卷积神经网络中得到各个区域的骨骼关节点特征向量；将手语RGB图像数据输入至基于多维注意力模块的ResNet‑18网络模型中，得到图像特征向量；将各个区域的骨骼关节点特征向量与图像特征向量分别输入至Bi‑LSTM模型当中，获得手语骨骼关节点数据的序列特征和手语RGB图像数据的序列特征；基于各自的序列特征分别进行手语预测，最后进行晚期融合，得到最终的手语识别结果。本发明提高了手语识别结果的准确性和鲁棒性，增强了手语识别系统在实际环境中的应用。

公开(公告)号：CN115273233A

公开(公告)日：2022-11-01

申请号：CN202210883142.1

申请日：2022-07-26

Applicant: 南京邮电大学

Inventor： 戴华 ,  杨伟洪 ,  管振凯 ,  吴昊哲 ,  周倩 ,  陈燕俐 ,  杨庚

IPC: G06V40/20 ,  G06V10/74

Abstract: 本发明提出了基于骨骼关节点区域划分的人体姿态相似度计算方法，根据预设需求对人体骨骼关节点进行划分，并对各骨骼关节点分区的权重进行初始化；对待检测人体姿态相似度的两张图片分别提取目标人物的人体骨骼关节点数据序列，并根据各骨骼关节点置信度以及人体骨骼关节点区域划分规则，更新骨骼关节点分区的权重；以其中一张图片中的人体骨骼关节点数据序列作为参照，对另外一张图片中的人体骨骼关节点数据序列进行对齐校正处理；利用骨骼关节点分区权重和OKS算法，计算两张图片中目标人物的人体姿态相似度。本发明所述的方法考虑到了复杂场景对人体姿态相似度计算的影响，提高了基于骨骼点识别的人体姿态相似度计算的鲁棒性和准确性。

公开(公告)号：CN115171152A

公开(公告)日：2022-10-11

申请号：CN202210716607.4

申请日：2022-06-23

Applicant: 南京邮电大学

Inventor： 戴华 ,  吴昊哲 ,  郑桂能 ,  杨伟洪 ,  周倩 ,  杨庚

IPC: G06V40/10 ,  G06V10/46 ,  G06V10/74

Abstract: 本发明是一种基于骨骼关节点识别的人体姿态特征提取方法，包括特征提取坐标系建立和骨骼关节点特征提取两个阶段，在特征提取坐标系建立阶段，首先根据预选取的图片构造特征提取坐标系参照图片序列，然后提取各参照图片中包含骨骼关节点数据，构造包含人体对象序列数据的特征提取参照坐标系；在骨骼关节点特征提取阶段，针对待特征提取的目标图片，首先提取该图片中人物的骨骼关节点数据，构造该图片对应的人体对象数据；然后参照特征提取坐标系，对该目标图片中的人体对象进行对齐校正处理；最后，利用OKS算法，计算目标图片中人物姿态与特征提取坐标系中的各参照图片的人物姿态的相似度，生成表示目标图片中人物的人体姿态的特征向量。