公开(公告)号：CN117975563A

公开(公告)日：2024-05-03

申请号：CN202410169399.X

申请日：2024-02-06

Applicant: 北京邮电大学

Inventor： 齐梦实 ,  赵喆 ,  马华东

IPC: G06V40/20 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/26 ,  G06V10/774 ,  G06V10/82

Abstract: 本申请提供手部骨骼姿态估计与动作识别模型训练方法、识别方法和设备，涉及图像处理技术领域，训练方法包括：基于手部图像数据和关键点二维坐标集合将图注意力网络训练为二维手部骨骼姿态估计模型；采用手部图像数据的关键点二维坐标集合估计结果、关键点三维坐标集合和手部动作类型标签训练医学图像分割模型和动作识别网络，得到三维手部骨骼姿态估计模型和手部动作识别模型。本申请通过采用图注意力网络，能够有效地利用手部图像数据的结构信息，并能够提高手部图像数据的结构信息利用的灵活性及可靠性，能够提高训练得到的手部骨骼姿态估计及动作识别模型的性能和泛化能力，进而能够提高采用该模型进行手部骨骼姿态估计及动作识别的准确性。

公开(公告)号：CN117975563B

公开(公告)日：2025-02-11

申请号：CN202410169399.X

申请日：2024-02-06

Applicant: 北京邮电大学

Inventor： 齐梦实 ,  赵喆 ,  马华东

IPC: G06V40/20 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/26 ,  G06V10/774 ,  G06V10/82

Abstract: 本申请提供手部骨骼姿态估计与动作识别模型训练方法、识别方法和设备，涉及图像处理技术领域，训练方法包括：基于手部图像数据和关键点二维坐标集合将图注意力网络训练为二维手部骨骼姿态估计模型；采用手部图像数据的关键点二维坐标集合估计结果、关键点三维坐标集合和手部动作类型标签训练医学图像分割模型和动作识别网络，得到三维手部骨骼姿态估计模型和手部动作识别模型。本申请通过采用图注意力网络，能够有效地利用手部图像数据的结构信息，并能够提高手部图像数据的结构信息利用的灵活性及可靠性，能够提高训练得到的手部骨骼姿态估计及动作识别模型的性能和泛化能力，进而能够提高采用该模型进行手部骨骼姿态估计及动作识别的准确性。