-
公开(公告)号：CN113379904B
公开(公告)日：2022-02-15
申请号：CN202110758141.X
申请日：2021-07-05
Applicant: 东南大学
Abstract: 本发明公开了一种基于隐空间运动编码的多人人体模型重建方法，具体包括步骤：S1.隐空间运动先验训练：S2.搭建多视角相机系统并采集多人体运动视频；S3.对步骤S2中搭建的多视角相机系统采集到的多人体运动视频使用现有开源二维姿态估计和跟踪进行预处理，获得二维关节点轨迹；S4.获取初始相机外参；S5.完成多人体运动视频中每个待重建人体的对齐；S6.迭代优化隐空间编码和步骤S4中获得的初始相机外参，使三维人体模型的关节点投影与步骤S3中得到的二维关节点轨迹一致，最后对每帧中的人体模型进行蒙皮后即可获得整个序列的人体重建结果。本发明降低了多人相互遮挡、跟踪误差对重建的影响。
-
公开(公告)号：CN113723163A
公开(公告)日：2021-11-30
申请号：CN202110291346.1
申请日：2021-06-07
Applicant: 东南大学
Abstract: 本发明首先提供了利用离散姿态学习物理约束的手部运动自监督重建方法，基于关键帧技术的编码器‑解码器手部运动重建深度学习网络架构，包括以下单元：单帧手部姿态估计单元，其对于视频序列进行逐帧的手部姿态估计；运动序列编码单元，其作用在于从上述逐帧检测结果中提取能够描述手部运动的关键姿态列表，而冗余的或包含高频抖动的姿态帧被舍弃；运动序列解码单元，其作用在于根据上述关键姿态列表，重建出和原始视频序列描述一致的手部运动。
-
公开(公告)号：CN112785692A
公开(公告)日：2021-05-11
申请号：CN202110128917.X
申请日：2021-01-29
Applicant: 东南大学
Abstract: 本发明提供了一种基于深度UV先验的单视角多人人体重建方法，利用二维姿态估计结果定位、分割人体图像，结合基于变分自编码器的UV人体先验，从分割的图像中动态重建多个人体三维网格模型。本发明方法包括：构建基于变分自编码器的人体UV先验网络；训练人体重建网络；使用人体重建网络完成多人人体三维重建。本发明保证了输入网络的图像信息的纯净性，同时增强了网络的泛化能力，能够在网络从少量的可见人体图像信息中重建完整的人体三维模型时提供额外的人体信息，保证了重建得到的三维人体模型的合理性，并能够支持部分人体区域在图像中受遮挡，不可见情况下的重建，能够实现在多人遮挡情况下重建带绝对位置的三维人体模型。
-
公开(公告)号：CN108960076A
公开(公告)日：2018-12-07
申请号：CN201810586771.1
申请日：2018-06-08
Applicant: 东南大学
CPC classification number: G06K9/00228 , G06K9/00281 , G06N3/0454
Abstract: 本发明公开了一种基于卷积神经网络的耳朵识别与跟踪方法，包括：针对已有的人脸数据集及脸部边框标签搭建第一层卷积神经网络，对图像中的人头部进行检测，得到包含耳朵区域的人脸图像；针对耳朵数据集及耳朵标注框标签搭建第二层积神经网络，通过训练对步骤1中输出图像中耳朵区域进行检测；针对耳朵数据集及耳朵特征点标签搭建第三层积神经网络，通过训练对步骤2中输出图像中耳朵特征点进行自动标注。本发明采用三层级联架构，能够有效解决现有耳朵数据集相对较小的情况下检测及特征点标注的问题。而且多层网络可以显著压缩网络大小，网络结构参数量相对较小，在训练阶段对显存的要求不高，训练更容易收敛，并在复杂条件下表现更优。
-
公开(公告)号：CN108320326A
公开(公告)日：2018-07-24
申请号：CN201810029906.4
申请日：2018-01-12
Applicant: 东南大学
Abstract: 本发明公开了一种针对人手部的三维建模方法，包括：在训练集中寻找出手部模型作为模板，并为模板绘制节点；通过将模板与样本集中的其他样本进行匹配，确定模板与样本对应的各节点旋转角度的参数；通过步骤2训练得到的姿态信息，训练出一个与姿态信息相关的矩阵姿态变化补偿矩阵；对样本库中的模型进行姿态统一，并提取出主成分，确定用于刻画不同形态的矩阵；通过以上训练确定模板和矩阵后，即可通过人为指定参数，经由线性混合蒙皮算法及参数整合来刻画多种多样的手部模型。本发明实现通过单一的三维手部模板来对多姿态的手势进行逼真建模的方法，并能够体现出不同人物手部形态的不同特征，无需再利用三维激光扫描，大幅降低成本。
-
Patent Agency Ranking
公开(公告)号：CN113723163B
公开(公告)日：2024-04-16
申请号：CN202110291346.1
申请日：2021-06-07
Applicant: 东南大学
IPC: G06V40/20 , G06V10/774 , G06V10/82 , G06F18/214 , G06N3/0455 , G06N3/044
Abstract: 本发明首先提供了利用离散姿态学习物理约束的手部运动自监督重建方法，基于关键帧技术的编码器‑解码器手部运动重建深度学习网络架构，包括以下单元：单帧手部姿态估计单元，其对于视频序列进行逐帧的手部姿态估计；运动序列编码单元，其作用在于从上述逐帧检测结果中提取能够描述手部运动的关键姿态列表，而冗余的或包含高频抖动的姿态帧被舍弃；运动序列解码单元，其作用在于根据上述关键姿态列表，重建出和原始视频序列描述一致的手部运动。
-
公开(公告)号：CN117079066A
公开(公告)日：2023-11-17
申请号：CN202310359325.8
申请日：2023-04-06
Applicant: 东南大学
IPC: G06V10/774 , G06V10/766 , G06V40/10 , G06V20/64 , G06T7/70 , G06T7/10 , G06T17/00 , G06T3/00
Abstract: 本发明公开了基于单视角彩色图像的三维人群数据生成方法，本发明的方法首先基于现有三维人体数据合成虚拟训练数据，然后基于虚拟数据训练三维人体回归网络，再采集单视角人群彩色图像，获取采集的单视角人群彩色图像中的估计人体边界框，估计人体二维关节点和估计二维掩膜；利用获得的人体二维掩膜构建人体遮挡关系约束及正则项，与重投影误差、人群位置关系组成损失函数，最后在每张采集的单视角人群彩色图像上对三维人体回归网络进行微调，输出估计的三维人体模型参数。本发明有效解决了缺乏大场景三维人群训练数据的问题，同时此种获得数据的方法具有高效、低成本的特点。
-
公开(公告)号：CN111161405B
公开(公告)日：2023-08-01
申请号：CN201911349178.6
申请日：2019-12-24
Applicant: 东南大学
Abstract: 本发明提供了一种动物毛发三维重建方法，包括：输入包含完整动物毛发的单张彩色图像；使用Mask R‑CNN得到动物毛发区域的分割结果；输入前述的单张彩色图像和分割结果，使用Deep Image Matting方法得到动物毛发区域的抠图结果；输入抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场；训练变分自编码器，其中编码器能够得到隐空间编码z；输入前述得到的二维方向场，通过神经网络学习人类毛发二维方向场到隐空间变量z的映射，输出动物毛发二维方向场对应的动物毛发三维重建结果。本发明仅需要单张彩色图像就能够直接重建动物毛发的三维模型，效率高，且包含毛发的几何信息，能够产生逼真的仿真效果。
-
公开(公告)号：CN110400365B
公开(公告)日：2023-06-20
申请号：CN201910590974.2
申请日：2019-07-02
Applicant: 东南大学
IPC: G06T13/40
Abstract: 本发明提供了一种基于动作增量模型的动作重定向方法，包括：直接复制原始人物动作的节点旋转角度与根节点速度到目标人物骨架上作为初始目标动作；采用骨头长度、局部动作与根节点动作表征原始人物动作与初始目标动作；采用循环神经网络分别对原始人物动作以及初始目标动作进行编码；将原始人物动作编码特征、初始目标动作编码特征以及目标人物输入解码器获得目标动作的动作增量；将目标动作的动作增量与初始目标动作求和得到预测目标动作；针对预测目标动作进行后处理，解决脚步滑动问题。本发明方法无需手工设计复杂的约束条件即可获得高质量的目标动作，针对原始人物与目标人物骨架差异大、动作极其复杂的情况，本发明仍然具有优越的性能表现。
-
公开(公告)号：CN116051648A
公开(公告)日：2023-05-02
申请号：CN202211534553.6
申请日：2022-12-02
Applicant: 东南大学 , 南京英麒智能科技有限公司
Abstract: 本发明公开了一种基于交叉视角多人体语义匹配的相机内外参数标定方法，该方法首先搭建多视角相机系统并采集多人体运动视频得到多人多视角视频序列；选取一段采集到的多人多视角视频序列，利用开源二维姿态估计方法获取人体二维关节点，使用开源三维姿态估计方法，对每个视角单独进行估计，获得相机坐标系下的所有人体三维关节点；然后分别进行初始相机内参估计以及初始相机外参估计；再构建姿态‑几何约束项，建立不同视角间二维关节点之间的匹配关系；再获得全局坐标系下的三维关节点；最后优化人体运动及相机参数，获得更精确的全局位置以及相机内外参数。本发明能够同时优化相机参数和人体姿态，对噪声输入更鲁棒。
-
-
-
-
-
-
-
-
-
Search Results
59
records
(took 0.019 seconds)
