公开(公告)号：CN116051648A

公开(公告)日：2023-05-02

申请号：CN202211534553.6

申请日：2022-12-02

Applicant: 东南大学 ,  南京英麒智能科技有限公司

Inventor： 王雁刚 ,  鞠婧怡 ,  黄步真 ,  高桓 ,  朱明敏

IPC: G06T7/80 ,  G06T7/73 ,  G06V40/10 ,  G06V20/40 ,  G06V10/74

Abstract: 本发明公开了一种基于交叉视角多人体语义匹配的相机内外参数标定方法，该方法首先搭建多视角相机系统并采集多人体运动视频得到多人多视角视频序列；选取一段采集到的多人多视角视频序列，利用开源二维姿态估计方法获取人体二维关节点，使用开源三维姿态估计方法，对每个视角单独进行估计，获得相机坐标系下的所有人体三维关节点；然后分别进行初始相机内参估计以及初始相机外参估计；再构建姿态‑几何约束项，建立不同视角间二维关节点之间的匹配关系；再获得全局坐标系下的三维关节点；最后优化人体运动及相机参数，获得更精确的全局位置以及相机内外参数。本发明能够同时优化相机参数和人体姿态，对噪声输入更鲁棒。

公开(公告)号：CN114926594A

公开(公告)日：2022-08-19

申请号：CN202210684494.4

申请日：2022-06-17

Applicant: 东南大学

Inventor： 王雁刚 ,  黄步真 ,  束愿

IPC: G06T17/00 ,  G06T7/10 ,  G06T7/73 ,  G06T7/90 ,  G06N3/04 ,  G06V10/774

Abstract: 本发明提供了一种基于自监督时空运动先验的遮挡人体运动序列重建方法，包括以下步骤：S1.人体运动合成与表示；S2.遮挡人体时空先验网络构建；S3.遮挡人体时空先验网络训练；S4.三维运动重建网络构建；S5.三维运动重建网络训练；S6.全局位置估计；S7.实时单视角遮挡人体运动重建。本发明可以快速合成大量遮挡数据，且不影响模型在真实数据上的泛化能力，解决了现有方法对真实遮挡人体数据的强烈依赖。

公开(公告)号：CN114842092A

公开(公告)日：2022-08-02

申请号：CN202210534979.5

申请日：2022-05-17

Applicant: 东南大学

Inventor： 束愿 ,  王雁刚 ,  黄步真

IPC: G06T7/80 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种针对体育运动场景的多视角相机标定方法，包括以下步骤：搭建多视角相机系统，有效地拍摄体育场景中的人体关键点和场地关键点；采用针孔相机模型，并将相机参数化表示；分别给出场地和人体二维关键点与三维关键点的表示方法；构建关键点提取网络，监督训练关键点提取网络直至收敛；使用训练好的关键点提取网络对视频中二维场地关键点和二维人体关键点进行检测；利用静态场地语义初始化相机内外参数，结合静态场地语义和动态人体语义作为约束，对初始化后的相机内外参数和人体运动进行光束平差优化来获得准确的相机内外参数。本发明使用了场地关键点来初始化相机的内参和外参，具有更好的稳定性和准确性。

公开(公告)号：CN111339870A

公开(公告)日：2020-06-26

申请号：CN202010099358.X

申请日：2020-02-18

Applicant: 东南大学

Inventor： 王雁刚 ,  黄步真 ,  张天舒 ,  彭聪

IPC: G06K9/00 ,  G06K9/32 ,  G06K9/46 ,  G06K9/62

Abstract: 本发明公开了一种针对物体遮挡场景的人体形状和姿态估计方法,将计算得到的弱透视投影参数转换到相机坐标下，获得不带遮挡情况下包含人体形状信息的UV图像；对人体二维图像加入随机物体图片遮挡，并获取遮挡情况下的人体掩膜；将获得的虚拟遮挡数据训练编码-解码结构的UV贴图修复网络；输入真实物体遮挡人体彩色图像，以掩膜图像作为真值构建编码-解码结构的显著性检测网络；使用编码得到的隐空间特征监督人体编码网络训练；输入遮挡人体彩色图像，得到完整的UV图像；使用UV图像与人体三维模型的顶点对应关系恢复出遮挡情况下的人体三维模型。本发明将遮挡人体形状估计转化为二维UV贴图的图像修复问题，进而实现遮挡场景下人体的实时、动态重建。