基于超图关系推理的单视角大规模人群三维重建方法

    公开(公告)号:CN117078732A

    公开(公告)日:2023-11-17

    申请号:CN202310992005.6

    申请日:2023-08-08

    Applicant: 东南大学

    Abstract: 本发明公开了基于超图关系推理的单视角大规模人群三维重建方法,本发明的方法首先构建训练数据,将基于三维人体数据集标注以及拟合得到的真值、基于开源方法得到的估计值以及三维人体数据集中的原始图像共同构成训练数据;然后构建重建网络;并进行网络训练重建三维人群,利用重建结果以及构建的训练数据中的真值构造损失函数实现监督,反向传播优化网络参数,直至网络收敛,训练完成的网络用于后续的推理过程;最后进行单视角大规模人群重建。本发明能够应用于大规模场景的人群重建,单次重建人体数量超过50人,显著多于现有单视角重建方法。

    一种针对单视角深度图的实时形状补全和姿态估计方法

    公开(公告)号:CN111161364B

    公开(公告)日:2022-11-18

    申请号:CN201911345010.8

    申请日:2019-12-24

    Applicant: 东南大学

    Inventor: 王雁刚 赵子萌

    Abstract: 本发明提供了一种直接针对单视角深度图的实时形状补全和姿态估计方法,包括:输入单视角的深度图;将深度图经过坐标转换,计算为点云数据;利用PointSIFT方法分割得到场景中待重建对象的局部点云数据;采用两个分支网络,一支输出刚性对象的SPL或非刚性对象的Joints;另一分支则输出隐式形状编码;将第一分支的点列输出卷积编码输出隐式姿态编码;将隐式形状以及姿态编码矩阵按位做相乘,得到形状‑姿态空间的混合编码;将混合编码输入到由转置卷积组成的解码网络,经过多层卷积后,输出三维对象在该姿态下的完整结构预测。本发明能够由局部缺乏结构的对象点云中获得刚性与非刚性对象的完整形状和姿态信息,实时高效。

    基于多视角立体视觉的人体手部三维采集方法

    公开(公告)号:CN111105493B

    公开(公告)日:2022-11-18

    申请号:CN201911226183.8

    申请日:2019-12-04

    Applicant: 东南大学

    Inventor: 王雁刚 赵郑逸

    Abstract: 本发明公开了一种基于多视角立体视觉的人体手部三维采集方法,包括图像采集环境搭建,环形相机阵列标定,以及基于图像像素匹配生成点云的系统化方法。搭建一个适合手部图像采集的实验室环境,使用特殊笼型采集装置和灯带光源。环形标定相机阵利用SFM算法和特殊标定物估计相机的内外参数。通过颜色信息获取手部图像的二值化掩码。通过匹配算法进行图像对的匹配并恢复物体的深度信息,计算三维点云。本发明的手部三维采集方法具体、实际、有效,图像细致清晰,标定相机精度高,很好地恢复了手部三维信息。

    一种基于神经运动控制的高物理真实感人体运动捕捉方法

    公开(公告)号:CN114550292A

    公开(公告)日:2022-05-27

    申请号:CN202210158059.8

    申请日:2022-02-21

    Applicant: 东南大学

    Abstract: 本发明提出一种基于神经运动控制的高物理真实感人体运动捕捉方法。该方法首先提出一种基于物理引擎的采样分布先验网络,训练得到准确的采样分布先验。其次提出一种场景接触约束,输入单视角视频通过优化框架获得人体参考运动。最后,利用训练完成的采样分布先验,从人体参考运动和物理角色当前状态中估计采样分布,进而使用采样控制的方法在不可微的物理引擎中实现高物理真实感的人体运动捕捉。本发明所提出的基于神经运动控制的人体捕捉框架使用物理引擎提供硬物理约束,避免了传统人体运动捕捉中的穿模、抖动等物理不真实的现象,采集方便,成本较低,易于实现。

    一种心脏静态三维模型重建方法

    公开(公告)号:CN109961508A

    公开(公告)日:2019-07-02

    申请号:CN201910227014.X

    申请日:2019-03-25

    Applicant: 东南大学

    Inventor: 王雁刚 庄集农

    Abstract: 本发明公开了一种心脏静态三维模型重建方法,包括:步骤1,建立模型基本数据集;步骤2,确定基准模型后,将其与基本数据集中的心脏模型进行配准,获得非刚性变换后的基准模型;步骤3,通过主成分分析法建立心脏三维数学模型;步骤4,根据给定的图像对心脏三维数学模型的参数进行调整,生成给定图像所对应的心脏静态三维模型;步骤5,根据医学知识对心脏静态三维模型进行社会评价,以此作为评判重建模型优劣的依据。本发明能够利用一个一般的初始三维心脏模型和少数心脏CT图片,实现静态三维心脏的重建,而无需全部的心脏CT图像即可得到效果较好的重建模型,重建时间短、重建结果准确可信。

    一种心脏医学图像自动分割方法

    公开(公告)号:CN109949299A

    公开(公告)日:2019-06-28

    申请号:CN201910227185.2

    申请日:2019-03-25

    Applicant: 东南大学

    Inventor: 王雁刚 俞柯伊

    Abstract: 本发明公开了一种心脏医学图像自动分割方法,包括:步骤1,获取数据并标注,建立心脏医学图像的数据集;步骤2,将获取的标注文件和原始CT图一起输入网络中训练,获得一个参数固定的深度神经网络;步骤3,进行CT图像的分割。本发明能自动实现左心室、左心房、右心室、右心房、左心室外壁和心脏外壁这六个部分的分割,并能达到令人满意的分割精度,和近期提出的Mask R-CNN相比,该方法性能相当。和一些同样能达到较高精度的方式相比,该方法的分割速度快具有显著提高。

    一种搭建针对人耳识别的深度学习网络结构的方法及系统

    公开(公告)号:CN108596193A

    公开(公告)日:2018-09-28

    申请号:CN201810392301.1

    申请日:2018-04-27

    Applicant: 东南大学

    Inventor: 王雁刚 陈晨

    Abstract: 本发明公开了一种搭建针对人耳识别的深度学习网络结构的方法及系统,方法包括:对现有的人耳图像数据集进行扩充,针对扩充后的数据集计算以热图形式呈现的人耳特征点标签;针对扩充后的数据集及所得到的热图标签搭建卷积神经网络;利用该网络结构进行训练、得到模型。系统包括:数据扩充单元,热图标签单元,回归热图单元。本发明能够通过对现有的数据集进行扩充,解决了深度学习对大量训练数据的需求,深度学习网络能够提取人耳特征点,输出人耳特征点的热图结果。本发明通过对现有的数据集进行扩充,解决了深度学习对大量训练数据的需求;基于搭建针对人耳识别的深度学习网络结构,能够提取人耳特征点,输出人耳特征点的热图结果。

    一种搭建针对手势检测的深度学习网络结构的方法及系统

    公开(公告)号:CN108334880A

    公开(公告)日:2018-07-27

    申请号:CN201810030295.5

    申请日:2018-01-12

    Applicant: 东南大学

    Inventor: 王雁刚 赵诗雨

    Abstract: 本发明公开了一种搭建针对手势检测的深度学习网络结构的方法及系统,方法包括:针对已有的手势图像数据集及手势的骨架信息标签搭建第一卷积神经网络;针对同样的数据集及手势的语义分割标签搭建第二卷积神经网络;将两个卷积神经网络的数据层和损失层合并,用并联的方式对两个网络进行连接;将两个网络的全卷积层输出结果分别反馈到对方网络的前端作为输入的一部分;利用改进后的网络结构进行训练、得到模型。系统包括:骨架检测单元,语义分割单元,全卷积层输出交叉反馈单元。本发明能够只通过一个深度学习网络对手势的骨架信息和语义分割信息进行并行检测,可以同时输出骨架检测和语义分割结果,且更为准确。

    利用球面展开侧写进行手部三维网格模型骨架提取方法

    公开(公告)号:CN113781654B

    公开(公告)日:2023-12-19

    申请号:CN202111160093.0

    申请日:2021-09-30

    Applicant: 东南大学

    Inventor: 王雁刚 赵子萌

    Abstract: 本发明公开一种利用球面展开侧写进行手部三维网格模型骨架提取方法,该方法首先将手部三维网格模型转换为球面展开侧写,所述球面展开侧写是利用笛卡尔坐标系到球坐标系变换,将三维网格对应的曲面投影到三个互补的、由球坐标作为索引的侧写图像上,依次命名为射线侧写、经线侧写和纬线侧写;然后将得到的球面展开侧写结果送入一个热图回归网络输出手部关节热度图;再根据热图回归网络的输出结果计算手部节点球空间坐标;最后利用球坐标到笛卡尔坐标系的逆变换,将关节点球坐标转换为笛卡尔坐标。本发明的方法能够从任意网格拓扑、手部姿态和水密程度的手部网格模型中提取手部骨架。

    一种心脏静态三维模型重建方法

    公开(公告)号:CN109961508B

    公开(公告)日:2023-08-18

    申请号:CN201910227014.X

    申请日:2019-03-25

    Applicant: 东南大学

    Inventor: 王雁刚 庄集农

    Abstract: 本发明公开了一种心脏静态三维模型重建方法,包括:步骤1,建立模型基本数据集;步骤2,确定基准模型后,将其与基本数据集中的心脏模型进行配准,获得非刚性变换后的基准模型;步骤3,通过主成分分析法建立心脏三维数学模型;步骤4,根据给定的图像对心脏三维数学模型的参数进行调整,生成给定图像所对应的心脏静态三维模型;步骤5,根据医学知识对心脏静态三维模型进行社会评价,以此作为评判重建模型优劣的依据。本发明能够利用一个一般的初始三维心脏模型和少数心脏CT图片,实现静态三维心脏的重建,而无需全部的心脏CT图像即可得到效果较好的重建模型,重建时间短、重建结果准确可信。

Patent Agency Ranking