公开(公告)号：CN116229506A

公开(公告)日：2023-06-06

申请号：CN202310099078.2

申请日：2023-02-09

Applicant: 上海交通大学

Inventor： 熊红凯 ,  李涵 ,  史博文 ,  戴文睿 ,  李成林 ,  邹君妮

IPC: G06V40/10 ,  G06V20/64 ,  G06V10/82 ,  G06V10/42 ,  G06N3/048 ,  G06N3/082

Abstract: 本发明提供一种三维人体姿态估计方法和系统，包括：通过不同方式获取不同类别的关节点嵌入信息，即输入包含2D姿态信息的同时，获得绝对和相对的图拓扑距离信息；构造面向姿态的自注意力机制和Transformer网络；将每个关节点不同类别嵌入信息的总和作为token，输入到Transformer网络中，提取姿态相关的全局特征；根据提取到的全局特征，通过对关节点的不确定度进行估计，进行不确定度引导的采样操作和姿态改善操作，实现基于不确定度引导的改善。本发明在自注意力机制中引入图拓扑结构和不确定信息，处理深度模糊问题；构建的Transformer网络，能够紧凑提取输入数据特征，节约网络模型参数量；显著提高含有自遮挡和复杂动作的姿态估计准确率，具有很强的灵活性和可扩展性。

公开(公告)号：CN113989854A

公开(公告)日：2022-01-28

申请号：CN202111384850.2

申请日：2021-11-22

Applicant: 上海交通大学

Inventor： 熊红凯 ,  李涵 ,  史博文 ,  戴文睿 ,  李成林 ,  邹君妮

IPC: G06V40/10 ,  G06V10/34 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06T7/73

Abstract: 本发明公开了一种三维人体姿态估计方法、系统、装置及介质，构建方法包括：通过对人体稠密表面的图拓扑结构进行粗化操作，得到不同粗化层次的图拓扑结构，该粗化图拓扑结构相较于人体骨架图拓扑结构更为稠密；结合人体骨架图拓扑结构，从稀疏到稠密，依次构建具有多条并行分支的图卷积神经网络；通过多尺度特征融合模块来连接不同分支，实现分支间的信息交互，构建得到层次化的图卷积神经网络。该三维人体姿态估计系统包括：层次化图卷积网络的构建单元、图卷积神经网络的训练单元及三维人体姿态估计单元，通过本发明，可以节约网络模型的参数量，并且能够显著提高含有自遮挡和复杂动作的姿态估计准确率。