-
公开(公告)号：CN115965765A
公开(公告)日：2023-04-14
申请号：CN202211534535.8
申请日：2022-12-02
Applicant: 东南大学 , 南京英麒智能科技有限公司
Abstract: 本发明公开了一种基于神经变形的可变形场景中人体运动捕捉方法，该方法首先使用三维人体姿态估计器初始化人体运动学模型的三维人体姿态，这产生了相对于根节点的三维姿态。接下来，估计三维人体姿态下的人体网格的接触概率图，获得与场景接触的人体网格顶点，并通过光线投射来找到场景网格上相应的接触点，利用人体网格和场景网格的接触点对优化获得全局三维人体姿态。然后，搭建基于Transformer的神经变形网络，根据当前人体网格和场景网格的交互状态对场景网格执行非刚性变形。最后，迭代交替优化全局人体姿态和执行场景网格非刚性变形，实现高质量的无标记单目三维人体运动捕捉和非刚性三维场景变形。
-
公开(公告)号：CN111027407B
公开(公告)日：2023-04-07
申请号：CN201911132726.X
申请日：2019-11-19
Applicant: 东南大学
IPC: G06V40/20 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种针对遮挡情况的彩色图像手部姿态估计方法，包括：使用参数化模型生成手部姿；生成每个关键点对应的热图，并随机选取部分热图置零；将关键点热图输入关键点编码器中，得到卷积特征图并输入到关键点解码器，对关键点解码器输出监督；将数据集中的彩色图像输入图像编码器，并仅对可见关键点的位置进行标注和生成热图，不可见关键点的热图置零输入关键点编码器；使用关键点编码器的输出监督图像编码器的输出，将待测的彩色图像输入图像编码器，输出得到卷积特征图并输入到关键点解码器中，得到图像中手部关键点热图，使用NMS算法得到手部关键点位置。本发明可同时预测可见关键点与被遮挡关键点，可应用于需要检测手部关键位置的场合。
-
公开(公告)号：CN108960076B
公开(公告)日：2022-07-12
申请号：CN201810586771.1
申请日：2018-06-08
Applicant: 东南大学
Abstract: 本发明公开了一种基于卷积神经网络的耳朵识别与跟踪方法，包括：针对已有的人脸数据集及脸部边框标签搭建第一层卷积神经网络，对图像中的人头部进行检测，得到包含耳朵区域的人脸图像；针对耳朵数据集及耳朵标注框标签搭建第二层积神经网络，通过训练对步骤1中输出图像中耳朵区域进行检测；针对耳朵数据集及耳朵特征点标签搭建第三层积神经网络，通过训练对步骤2中输出图像中耳朵特征点进行自动标注。本发明采用三层级联架构，能够有效解决现有耳朵数据集相对较小的情况下检测及特征点标注的问题。而且多层网络可以显著压缩网络大小，网络结构参数量相对较小，在训练阶段对显存的要求不高，训练更容易收敛，并在复杂条件下表现更优。
-
公开(公告)号：CN108596193B
公开(公告)日：2021-11-02
申请号：CN201810392301.1
申请日：2018-04-27
Applicant: 东南大学
Abstract: 本发明公开了一种搭建针对人耳识别的深度学习网络结构的方法及系统，方法包括：对现有的人耳图像数据集进行扩充，针对扩充后的数据集计算以热图形式呈现的人耳特征点标签；针对扩充后的数据集及所得到的热图标签搭建卷积神经网络；利用该网络结构进行训练、得到模型。系统包括：数据扩充单元，热图标签单元，回归热图单元。本发明能够通过对现有的数据集进行扩充，解决了深度学习对大量训练数据的需求，深度学习网络能够提取人耳特征点，输出人耳特征点的热图结果。本发明通过对现有的数据集进行扩充，解决了深度学习对大量训练数据的需求；基于搭建针对人耳识别的深度学习网络结构，能够提取人耳特征点，输出人耳特征点的热图结果。
-
Patent Agency Ranking
公开(公告)号：CN111161405A
公开(公告)日：2020-05-15
申请号：CN201911349178.6
申请日：2019-12-24
Applicant: 东南大学
Abstract: 本发明提供了一种动物毛发三维重建方法，包括：输入包含完整动物毛发的单张彩色图像；使用Mask R-CNN得到动物毛发区域的分割结果；输入前述的单张彩色图像和分割结果，使用Deep Image Matting方法得到动物毛发区域的抠图结果；输入抠图结果，使用Gabor滤波器得到动物毛发区域的二维方向场；训练变分自编码器，其中编码器能够得到隐空间编码z；输入前述得到的二维方向场，通过神经网络学习人类毛发二维方向场到隐空间变量z的映射，输出动物毛发二维方向场对应的动物毛发三维重建结果。本发明仅需要单张彩色图像就能够直接重建动物毛发的三维模型，效率高，且包含毛发的几何信息，能够产生逼真的仿真效果。
-
公开(公告)号：CN111105493A
公开(公告)日：2020-05-05
申请号：CN201911226183.8
申请日：2019-12-04
Applicant: 东南大学
Abstract: 本发明公开了一种基于多视角立体视觉的人体手部三维采集方法，包括图像采集环境搭建，环形相机阵列标定，以及基于图像像素匹配生成点云的系统化方法。搭建一个适合手部图像采集的实验室环境，使用特殊笼型采集装置和灯带光源。环形标定相机阵利用SFM算法和特殊标定物估计相机的内外参数。通过颜色信息获取手部图像的二值化掩码。通过匹配算法进行图像对的匹配并恢复物体的深度信息，计算三维点云。本发明的手部三维采集方法具体、实际、有效，图像细致清晰，标定相机精度高，很好地恢复了手部三维信息。
-
公开(公告)号：CN111027407A
公开(公告)日：2020-04-17
申请号：CN201911132726.X
申请日：2019-11-19
Applicant: 东南大学
Abstract: 本发明公开了一种针对遮挡情况的彩色图像手部姿态估计方法，包括：使用参数化模型生成手部姿；生成每个关键点对应的热图，并随机选取部分热图置零；将关键点热图输入关键点编码器中，得到卷积特征图并输入到关键点解码器，对关键点解码器输出监督；将数据集中的彩色图像输入图像编码器，并仅对可见关键点的位置进行标注和生成热图，不可见关键点的热图置零输入关键点编码器；使用关键点编码器的输出监督图像编码器的输出，将待测的彩色图像输入图像编码器，输出得到卷积特征图并输入到关键点解码器中，得到图像中手部关键点热图，使用NMS算法得到手部关键点位置。本发明可同时预测可见关键点与被遮挡关键点，可应用于需要检测手部关键位置的场合。
-
公开(公告)号：CN110070605A
公开(公告)日：2019-07-30
申请号：CN201910245384.6
申请日：2019-03-28
Applicant: 东南大学
IPC: G06T17/00
Abstract: 本发明公开了一种实时人体无标记动作捕获方法，包括以下步骤：步骤1，输入单帧的彩色图像；步骤2，利用神经网络ResNet50进行编码；步骤3，图像的卷积特征作为下一级神经网络的输入，回归出三维模型参数和相机参数；步骤4，根据人体参数和相机参数生成初步的人体三维模型；步骤5，对输出的三维模型用判别器进行判别，判断是否符合实际人体；步骤6，利用非刚性配准对重建结果进行优化，对手势和面部进一步进行三维重建；步骤7，求解能量方程。
-
公开(公告)号：CN110070595A
公开(公告)日：2019-07-30
申请号：CN201910270322.0
申请日：2019-04-04
Applicant: 东南大学
Abstract: 本发明公开了一种基于深度学习的单张图像3D对象重建方法，包括：1、输入包含多对象的单彩色图像；2、利用预训练的RPN，输出指定类别的域候选的各个区域；3、将各区域并行送入形状-姿态预测子网络；4、预测出原对象在三维空间中的形状参数和姿态参数；5、形状采样子网络根据形状参数解码出对应形状空间的点云模型；6、对生成的点云模型进行姿态参数进行刚性变换；7、输出该区域所包含对象的结构、姿态三维重建结果。本发明选取了点云模型作为与网络结构交互的三维数据表示，使得网络对3D数据具备更好的理解能力，同时利用“采样点数”而非“采样量化单元大小”进行精度控制，可以更好的控制复杂度，且保证了对象刚性运动中的不变性。
-
-
-
-
-
-
-
-
Search Results
59
records
(took 0.025 seconds)
