公开(公告)号：CN116884085A

公开(公告)日：2023-10-13

申请号：CN202310829392.1

申请日：2023-07-07

Applicant: 上海交通大学

Inventor： 熊红凯 ,  郑鸿伟 ,  李涵 ,  戴文睿 ,  李成林 ,  邹君妮

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/764

Abstract: 本发明提供一种动作提示的三维人体姿态估计方法和系统，包括：通过姿态编码器，从二维姿态序列中提取姿态位置特征、姿态序列特征和动作特征；根据姿态位置特征获得文本提示特征；对齐文本提示特征与动作特征，提取动作类别信息；选择对应动作类别信息的姿态提示特征，基于姿态提示特征与姿态序列特征间的相关性进行组合，得到增强姿态序列特征；将增强姿态序列特征通过线性映射得到三维姿态估计。本发明在姿态估计过程中，挖掘动作相关先验信息，引入动作相关文本、姿态特征的多模态信息，处理深度模糊问题；其即插即用模块，紧凑提取输入数据特征，节约网络模型参数量；显著提高含有自遮挡和复杂动作的姿态估计准确率，提升灵活性和可扩展性。

公开(公告)号：CN120047624A

公开(公告)日：2025-05-27

申请号：CN202510209758.4

申请日：2025-02-25

Applicant: 上海交通大学

Inventor： 戴文睿 ,  郑鸿伟 ,  李涵 ,  郑紫阳 ,  李成林 ,  邹君妮 ,  熊红凯

IPC: G06T17/00 ,  G06T7/73 ,  G06N3/045 ,  G06T3/4038 ,  G06N3/08

Abstract: 本发明提供基于多层次稠密姿态生成的三维人体姿态估计方法，包括：获取二维人体姿态，二维人体姿态为人体关节点的二维坐标；利用自回归姿态码元生成模型，按照从人体中心关节点到边缘关节点的顺序，根据二维人体姿态依次获得输入姿态生成码元和稠密姿态生成码元；通过解码器，根据稠密姿态生成码元生成第一层稠密化姿态，根据输入姿态生成码元和稠密姿态生成码元生成第二层稠密化姿态；将二维人体姿态、第一层稠密化姿态和第二层稠密化姿态拼接，输入Transformer得到三维姿态估计。本发明引入稠密二维姿态，极大提升三维人体姿态估计的准确度，能够使用单帧图像的姿态输入获得匹配多帧视频输入的准确率，缓解关节遮挡、部分肢体遮挡和深度不连续性等问题。