-
公开(公告)号：CN114926594B
公开(公告)日：2024-11-12
申请号：CN202210684494.4
申请日：2022-06-17
Applicant: 东南大学
IPC: G06T17/00 , G06T7/10 , G06T7/73 , G06T7/90 , G06N3/0464 , G06V10/774
Abstract: 本发明提供了一种基于自监督时空运动先验的遮挡人体运动序列重建方法，包括以下步骤：S1.人体运动合成与表示；S2.遮挡人体时空先验网络构建；S3.遮挡人体时空先验网络训练；S4.三维运动重建网络构建；S5.三维运动重建网络训练；S6.全局位置估计；S7.实时单视角遮挡人体运动重建。本发明可以快速合成大量遮挡数据，且不影响模型在真实数据上的泛化能力，解决了现有方法对真实遮挡人体数据的强烈依赖。
-
公开(公告)号：CN113379904B
公开(公告)日：2022-02-15
申请号：CN202110758141.X
申请日：2021-07-05
Applicant: 东南大学
Abstract: 本发明公开了一种基于隐空间运动编码的多人人体模型重建方法，具体包括步骤：S1.隐空间运动先验训练：S2.搭建多视角相机系统并采集多人体运动视频；S3.对步骤S2中搭建的多视角相机系统采集到的多人体运动视频使用现有开源二维姿态估计和跟踪进行预处理，获得二维关节点轨迹；S4.获取初始相机外参；S5.完成多人体运动视频中每个待重建人体的对齐；S6.迭代优化隐空间编码和步骤S4中获得的初始相机外参，使三维人体模型的关节点投影与步骤S3中得到的二维关节点轨迹一致，最后对每帧中的人体模型进行蒙皮后即可获得整个序列的人体重建结果。本发明降低了多人相互遮挡、跟踪误差对重建的影响。
-
公开(公告)号：CN112785692A
公开(公告)日：2021-05-11
申请号：CN202110128917.X
申请日：2021-01-29
Applicant: 东南大学
Abstract: 本发明提供了一种基于深度UV先验的单视角多人人体重建方法，利用二维姿态估计结果定位、分割人体图像，结合基于变分自编码器的UV人体先验，从分割的图像中动态重建多个人体三维网格模型。本发明方法包括：构建基于变分自编码器的人体UV先验网络；训练人体重建网络；使用人体重建网络完成多人人体三维重建。本发明保证了输入网络的图像信息的纯净性，同时增强了网络的泛化能力，能够在网络从少量的可见人体图像信息中重建完整的人体三维模型时提供额外的人体信息，保证了重建得到的三维人体模型的合理性，并能够支持部分人体区域在图像中受遮挡，不可见情况下的重建，能够实现在多人遮挡情况下重建带绝对位置的三维人体模型。
-
公开(公告)号：CN114842092B
公开(公告)日：2024-12-20
申请号：CN202210534979.5
申请日：2022-05-17
Applicant: 东南大学
IPC: G06T7/80 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种针对体育运动场景的多视角相机标定方法，包括以下步骤：搭建多视角相机系统，有效地拍摄体育场景中的人体关键点和场地关键点；采用针孔相机模型，并将相机参数化表示；分别给出场地和人体二维关键点与三维关键点的表示方法；构建关键点提取网络，监督训练关键点提取网络直至收敛；使用训练好的关键点提取网络对视频中二维场地关键点和二维人体关键点进行检测；利用静态场地语义初始化相机内外参数，结合静态场地语义和动态人体语义作为约束，对初始化后的相机内外参数和人体运动进行光束平差优化来获得准确的相机内外参数。本发明使用了场地关键点来初始化相机的内参和外参，具有更好的稳定性和准确性。
-
公开(公告)号：CN117078732A
公开(公告)日：2023-11-17
申请号：CN202310992005.6
申请日：2023-08-08
Applicant: 东南大学
Abstract: 本发明公开了基于超图关系推理的单视角大规模人群三维重建方法，本发明的方法首先构建训练数据，将基于三维人体数据集标注以及拟合得到的真值、基于开源方法得到的估计值以及三维人体数据集中的原始图像共同构成训练数据；然后构建重建网络；并进行网络训练重建三维人群，利用重建结果以及构建的训练数据中的真值构造损失函数实现监督，反向传播优化网络参数，直至网络收敛，训练完成的网络用于后续的推理过程；最后进行单视角大规模人群重建。本发明能够应用于大规模场景的人群重建，单次重建人体数量超过50人，显著多于现有单视角重建方法。
-
Patent Agency Ranking
公开(公告)号：CN114550292A
公开(公告)日：2022-05-27
申请号：CN202210158059.8
申请日：2022-02-21
Applicant: 东南大学
Abstract: 本发明提出一种基于神经运动控制的高物理真实感人体运动捕捉方法。该方法首先提出一种基于物理引擎的采样分布先验网络，训练得到准确的采样分布先验。其次提出一种场景接触约束，输入单视角视频通过优化框架获得人体参考运动。最后，利用训练完成的采样分布先验，从人体参考运动和物理角色当前状态中估计采样分布，进而使用采样控制的方法在不可微的物理引擎中实现高物理真实感的人体运动捕捉。本发明所提出的基于神经运动控制的人体捕捉框架使用物理引擎提供硬物理约束，避免了传统人体运动捕捉中的穿模、抖动等物理不真实的现象，采集方便，成本较低，易于实现。
-
公开(公告)号：CN112785692B
公开(公告)日：2022-11-18
申请号：CN202110128917.X
申请日：2021-01-29
Applicant: 东南大学
Abstract: 本发明提供了一种基于深度UV先验的单视角多人人体重建方法，利用二维姿态估计结果定位、分割人体图像，结合基于变分自编码器的UV人体先验，从分割的图像中动态重建多个人体三维网格模型。本发明方法包括：构建基于变分自编码器的人体UV先验网络；训练人体重建网络；使用人体重建网络完成多人人体三维重建。本发明保证了输入网络的图像信息的纯净性，同时增强了网络的泛化能力，能够在网络从少量的可见人体图像信息中重建完整的人体三维模型时提供额外的人体信息，保证了重建得到的三维人体模型的合理性，并能够支持部分人体区域在图像中受遮挡，不可见情况下的重建，能够实现在多人遮挡情况下重建带绝对位置的三维人体模型。
-
公开(公告)号：CN111339870B
公开(公告)日：2022-04-26
申请号：CN202010099358.X
申请日：2020-02-18
Applicant: 东南大学
Abstract: 本发明公开了一种针对物体遮挡场景的人体形状和姿态估计方法,将计算得到的弱透视投影参数转换到相机坐标下，获得不带遮挡情况下包含人体形状信息的UV图像；对人体二维图像加入随机物体图片遮挡，并获取遮挡情况下的人体掩膜；将获得的虚拟遮挡数据训练编码‑解码结构的UV贴图修复网络；输入真实物体遮挡人体彩色图像，以掩膜图像作为真值构建编码‑解码结构的显著性检测网络；使用编码得到的隐空间特征监督人体编码网络训练；输入遮挡人体彩色图像，得到完整的UV图像；使用UV图像与人体三维模型的顶点对应关系恢复出遮挡情况下的人体三维模型。本发明将遮挡人体形状估计转化为二维UV贴图的图像修复问题，进而实现遮挡场景下人体的实时、动态重建。
-
公开(公告)号：CN113379904A
公开(公告)日：2021-09-10
申请号：CN202110758141.X
申请日：2021-07-05
Applicant: 东南大学
Abstract: 本发明公开了一种基于隐空间运动编码的多人人体模型重建方法，具体包括步骤：S1.隐空间运动先验训练：S2.搭建多视角相机系统并采集多人体运动视频；S3.对步骤S2中搭建的多视角相机系统采集到的多人体运动视频使用现有开源二维姿态估计和跟踪进行预处理，获得二维关节点轨迹；S4.获取初始相机外参；S5.完成多人体运动视频中每个待重建人体的对齐；S6.迭代优化隐空间编码和步骤S4中获得的初始相机外参，使三维人体模型的关节点投影与步骤S3中得到的二维关节点轨迹一致，最后对每帧中的人体模型进行蒙皮后即可获得整个序列的人体重建结果。本发明降低了多人相互遮挡、跟踪误差对重建的影响。
-
公开(公告)号：CN117079066A
公开(公告)日：2023-11-17
申请号：CN202310359325.8
申请日：2023-04-06
Applicant: 东南大学
IPC: G06V10/774 , G06V10/766 , G06V40/10 , G06V20/64 , G06T7/70 , G06T7/10 , G06T17/00 , G06T3/00
Abstract: 本发明公开了基于单视角彩色图像的三维人群数据生成方法，本发明的方法首先基于现有三维人体数据合成虚拟训练数据，然后基于虚拟数据训练三维人体回归网络，再采集单视角人群彩色图像，获取采集的单视角人群彩色图像中的估计人体边界框，估计人体二维关节点和估计二维掩膜；利用获得的人体二维掩膜构建人体遮挡关系约束及正则项，与重投影误差、人群位置关系组成损失函数，最后在每张采集的单视角人群彩色图像上对三维人体回归网络进行微调，输出估计的三维人体模型参数。本发明有效解决了缺乏大场景三维人群训练数据的问题，同时此种获得数据的方法具有高效、低成本的特点。
-
-
-
-
-
-
-
-
-
Search Results
14
records
(took 0.016 seconds)
