一种端到端的手部对象交互姿态估计方法及系统

    公开(公告)号:CN118247851A

    公开(公告)日:2024-06-25

    申请号:CN202410671058.2

    申请日:2024-05-28

    Abstract: 本发明属于三维姿态估计技术领域,公开了一种端到端的手部对象交互姿态估计方法及系统,该方法包括特征提取阶段和重建阶段,所述特征提取阶段利用关键点检测模型提取特征和热图;所述重建阶段包括姿势重建分支和形状重建分支,所述姿势重建分支重建在交互场景下的手部和对象的姿态,所述形状重建分支重建在交互场景下的手部和对象的形状。本发明采用改进GraFormer模块对姿势重建分支和形状重建分支进行改进,改进GraFormer模块中加入了语义图卷积层,通过语义图卷积层对相邻节点之间的语义信息进行提取,增强特征的语义表达能力;在形状重建分支中加入了一个特征增强模块,提高了特征的表征能力。

Patent Agency Ranking