一种实时人体无标记动作捕获方法

    公开(公告)号:CN110070605A

    公开(公告)日:2019-07-30

    申请号:CN201910245384.6

    申请日:2019-03-28

    Applicant: 东南大学

    Inventor: 王雁刚 张天舒

    Abstract: 本发明公开了一种实时人体无标记动作捕获方法,包括以下步骤:步骤1,输入单帧的彩色图像;步骤2,利用神经网络ResNet50进行编码;步骤3,图像的卷积特征作为下一级神经网络的输入,回归出三维模型参数和相机参数;步骤4,根据人体参数和相机参数生成初步的人体三维模型;步骤5,对输出的三维模型用判别器进行判别,判断是否符合实际人体;步骤6,利用非刚性配准对重建结果进行优化,对手势和面部进一步进行三维重建;步骤7,求解能量方程。

    一种针对物体遮挡场景的人体形状和姿态估计方法

    公开(公告)号:CN111339870A

    公开(公告)日:2020-06-26

    申请号:CN202010099358.X

    申请日:2020-02-18

    Applicant: 东南大学

    Abstract: 本发明公开了一种针对物体遮挡场景的人体形状和姿态估计方法,将计算得到的弱透视投影参数转换到相机坐标下,获得不带遮挡情况下包含人体形状信息的UV图像;对人体二维图像加入随机物体图片遮挡,并获取遮挡情况下的人体掩膜;将获得的虚拟遮挡数据训练编码-解码结构的UV贴图修复网络;输入真实物体遮挡人体彩色图像,以掩膜图像作为真值构建编码-解码结构的显著性检测网络;使用编码得到的隐空间特征监督人体编码网络训练;输入遮挡人体彩色图像,得到完整的UV图像;使用UV图像与人体三维模型的顶点对应关系恢复出遮挡情况下的人体三维模型。本发明将遮挡人体形状估计转化为二维UV贴图的图像修复问题,进而实现遮挡场景下人体的实时、动态重建。

    一种基于深度UV先验的单视角多人人体重建方法

    公开(公告)号:CN112785692A

    公开(公告)日:2021-05-11

    申请号:CN202110128917.X

    申请日:2021-01-29

    Applicant: 东南大学

    Abstract: 本发明提供了一种基于深度UV先验的单视角多人人体重建方法,利用二维姿态估计结果定位、分割人体图像,结合基于变分自编码器的UV人体先验,从分割的图像中动态重建多个人体三维网格模型。本发明方法包括:构建基于变分自编码器的人体UV先验网络;训练人体重建网络;使用人体重建网络完成多人人体三维重建。本发明保证了输入网络的图像信息的纯净性,同时增强了网络的泛化能力,能够在网络从少量的可见人体图像信息中重建完整的人体三维模型时提供额外的人体信息,保证了重建得到的三维人体模型的合理性,并能够支持部分人体区域在图像中受遮挡,不可见情况下的重建,能够实现在多人遮挡情况下重建带绝对位置的三维人体模型。

    一种基于深度UV先验的单视角多人人体重建方法

    公开(公告)号:CN112785692B

    公开(公告)日:2022-11-18

    申请号:CN202110128917.X

    申请日:2021-01-29

    Applicant: 东南大学

    Abstract: 本发明提供了一种基于深度UV先验的单视角多人人体重建方法,利用二维姿态估计结果定位、分割人体图像,结合基于变分自编码器的UV人体先验,从分割的图像中动态重建多个人体三维网格模型。本发明方法包括:构建基于变分自编码器的人体UV先验网络;训练人体重建网络;使用人体重建网络完成多人人体三维重建。本发明保证了输入网络的图像信息的纯净性,同时增强了网络的泛化能力,能够在网络从少量的可见人体图像信息中重建完整的人体三维模型时提供额外的人体信息,保证了重建得到的三维人体模型的合理性,并能够支持部分人体区域在图像中受遮挡,不可见情况下的重建,能够实现在多人遮挡情况下重建带绝对位置的三维人体模型。

    一种针对物体遮挡场景的人体形状和姿态估计方法

    公开(公告)号:CN111339870B

    公开(公告)日:2022-04-26

    申请号:CN202010099358.X

    申请日:2020-02-18

    Applicant: 东南大学

    Abstract: 本发明公开了一种针对物体遮挡场景的人体形状和姿态估计方法,将计算得到的弱透视投影参数转换到相机坐标下,获得不带遮挡情况下包含人体形状信息的UV图像;对人体二维图像加入随机物体图片遮挡,并获取遮挡情况下的人体掩膜;将获得的虚拟遮挡数据训练编码‑解码结构的UV贴图修复网络;输入真实物体遮挡人体彩色图像,以掩膜图像作为真值构建编码‑解码结构的显著性检测网络;使用编码得到的隐空间特征监督人体编码网络训练;输入遮挡人体彩色图像,得到完整的UV图像;使用UV图像与人体三维模型的顶点对应关系恢复出遮挡情况下的人体三维模型。本发明将遮挡人体形状估计转化为二维UV贴图的图像修复问题,进而实现遮挡场景下人体的实时、动态重建。

Patent Agency Ranking