公开(公告)号：CN119418409A

公开(公告)日：2025-02-11

申请号：CN202411607112.3

申请日：2024-11-12

Applicant: 中国矿业大学

Inventor： 王乙舟 ,  缪燕子 ,  吴至锦 ,  王帅 ,  任乐乐

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于双聚合网络增强的手部位姿估计方法，从手部深度图像生成手部点云，将手部深度图像和点云输入到局部编码融合模块生成融合的图像特征和点云特征；将融合的3D点云特征输入初始状态生成器，以初始化隐藏状态；将隐藏状态输入回归模块获得关节点的初始估计；初始估计与融合的图像特征和点云特征，输入点云图像一致性聚合模块，生成增强点云特征；增强点云特征与初始估计输入重采样模块输出高维手部关节点特征；增强点云特征与高维手部关节点特征和隐藏状态共同输入动态图增强聚合模块得到增强的高维关节点特征；将增强的高维关节点特征输入回归模块中，获得最终手部关节点坐标位置。本发明能够改善遮挡情况下的手势姿态估计，增强手关节输出。