一种针对单视角深度图的实时形状补全和姿态估计方法

    公开(公告)号:CN111161364A

    公开(公告)日:2020-05-15

    申请号:CN201911345010.8

    申请日:2019-12-24

    Applicant: 东南大学

    Inventor: 王雁刚 赵子萌

    Abstract: 本发明提供了一种直接针对单视角深度图的实时形状补全和姿态估计方法,包括:输入单视角的深度图;将深度图经过坐标转换,计算为点云数据;利用PointSIFT方法分割得到场景中待重建对象的局部点云数据;采用两个分支网络,一支输出刚性对象的SPL或非刚性对象的Joints;另一分支则输出隐式形状编码;将第一分支的点列输出卷积编码输出隐式姿态编码;将隐式形状以及姿态编码矩阵按位做相乘,得到形状-姿态空间的混合编码;将混合编码输入到由转置卷积组成的解码网络,经过多层卷积后,输出三维对象在该姿态下的完整结构预测。本发明能够由局部缺乏结构的对象点云中获得刚性与非刚性对象的完整形状和姿态信息,实时高效。

    一种动态心脏三维模型的重建方法

    公开(公告)号:CN109994198A

    公开(公告)日:2019-07-09

    申请号:CN201910267439.3

    申请日:2019-04-03

    Applicant: 东南大学

    Inventor: 王雁刚 朱婷

    Abstract: 本发明提供了一种动态心脏三维模型的重建方法,包括:选定心动周期中重要时相的心脏模型;在步骤一的数学模型表达上加上时间参数,表示四维空间中的心脏模型;用插值来拟合出步骤二表示的心脏模型上每个点的运动轨迹;检查插值过程中不符合常理的模型穿插部分,并针对不合理部分予以修改;以一个心动周期为单位,动态显示心脏运动,即得动态心脏三维模型。本发明能够建立具有医学价值的动态三维心脏模型,再现心脏在心动周期内的生理运动,模型包括左心房、右心房、左心室、右心室、左心室外壁和整个心腔外壁所有的心脏部位,基于此能够实现心脏运动特征的全面分析,并帮助检查是否存在心脏生理功能异常。

    一种可调节多视点三维重建采集系统

    公开(公告)号:CN109854893A

    公开(公告)日:2019-06-07

    申请号:CN201811487954.4

    申请日:2018-12-06

    Applicant: 东南大学

    Inventor: 王雁刚 赵郑逸

    Abstract: 本发明提供了一种多视点三维重建采集系统,包括升降旋转式笼型采集器、以及固定在升降旋转式笼型采集器上的相机和光源,升降旋转式笼型采集器包括笼型相机固定支架、外部升降旋转机构,笼型相机固定支架包括上部圆环、中部圆环、下部圆环、连接在中部和下部圆环之间的若干侧柱,连接在上部和中部圆环之间的若干斜柱,上部圆环内还连接有十字支架,相机固定在侧柱上,光源固定在十字支架上;外部升降旋转机构包括连接在笼型相机固定支架两侧的轴承、连接在支撑框和笼型相机固定支架之间的丝杆结构、与丝杆结构连接的支撑框。本发明系统结构新颖,对于不同身材尺寸被摄者,可调节采集系统的高度、姿态以适应采集对象,采集其手部头部图像。

    融合方向图的人体姿态估计方法

    公开(公告)号:CN109033946A

    公开(公告)日:2018-12-18

    申请号:CN201810588480.6

    申请日:2018-06-08

    Applicant: 东南大学

    Abstract: 本发明公开了一种融合方向图的人体姿态估计方法,包括:进行特征提取得到高层次特征,进行关键点位置图的初步学习检测以及方向图的检测得到位置热图以及方向热图;将预测的位置热图、方向图以及高层次特征进行融合,得到更加精确的位置热图。本发明通过融合方向信息,提高关键点预测精度,与以往的网络结构相比,所提出的深度卷积网络可以得到更多的人类姿态信息。本发明能够有效解决遮挡问题下的姿态估计,对于被遮挡的关键点,当位置热图基本正确时,即使第一阶段的位置网络不能很好地找到关键点位置,后面的融合网络也能准确的预测出关键点位置,鲁棒性更佳。本方法的网络结构参数量相对小很多,在训练阶段对显存的要求不高,训练更容易收敛。

    一种基于隐式表示的三维交互手重建方法和系统

    公开(公告)号:CN114998520B

    公开(公告)日:2024-11-12

    申请号:CN202210619894.7

    申请日:2022-06-02

    Applicant: 东南大学

    Abstract: 本发明提出了一种基于隐式表示的三维交互手重建方法和系统,包括以下步骤:1、搭建特征提取神经网络,先从单张输入彩色图像中获取全局和区域特征,再根据输入图像和区域特征进一步获取实例和关节特征;2、利用获取的区域特征、实例特征和关节特征,根据查询策略选取查询点,并构建查询条件;3、构建参数化的隐式神经网络,基于查询点和查询条件,进行隐式重建;4、对重建的模型进行物理优化,惩罚不合理的穿透,调整并更新重建的模型;5、迭代优化重建的模型,直到最大穿透深度小于2mm,则将优化结果作为交互手的最终重建结果。本发明只需要单张彩色图像,便可以将图像中任意手性和数量的手重建出来,实现了端到端的建模方式,提高了三维手势和形状重建的质量。

    一种融合手部骨骼和面部表情特征的手语识别方法

    公开(公告)号:CN116486484A

    公开(公告)日:2023-07-25

    申请号:CN202310455332.8

    申请日:2023-04-25

    Applicant: 东南大学

    Abstract: 本发明公开了一种融合手部骨骼和面部表情特征的手语识别方法,本发明的方法首先将表示手语含义的视频序列进行抽帧;再对抽取的RGB图像提取手部骨骼关节点在世界坐标系中的三维坐标,并通过坐标平移和旋转标准化为手部坐标系下三维坐标,得以更准确描述手部姿态;然后裁剪出各帧的脸部区域,并进行表情识别,得到关于各类表情的置信度信息并提取各帧手部区域的图像;再将手部区域图像输入卷积神经网络中学习图像的空间特征,将其输出特征信息与对应的手部骨骼关节点和表情信息进行拼接;最后将拼接的特征信息通过全连接层再输入到递归神经网络中学习时序特征。本发明有效解决了现有手语识别方法所存在的准确性不高、鲁棒性较差的问题。

    一种多相机高速同步拍摄系统及拍摄方法

    公开(公告)号:CN114581284B

    公开(公告)日:2023-03-24

    申请号:CN202210203743.3

    申请日:2022-03-02

    Applicant: 东南大学

    Inventor: 王雁刚 于志鹏

    Abstract: 本发明公开了一种多相机高速同步拍摄系统及拍摄方法,本发明所述系统包括硬件同步器主板、硬件同步器从板、相机、数据采集电脑、电源部分;所述硬件同步器主板用于发出硬件控制触发信号,经过放大电路后输出给硬件同步器从板;所述硬件同步器从板用于接收硬件同步器主板的信号,将控制信号传递给相机,从而触发相机拍摄;所述相机用于接受硬件同步器从板的信号,按照控制触发信号的频率拍摄照片,并传输给数据采集电脑。本发明能够实现多相机,多视点和高速情况下的相机同步拍摄问题,使得拍摄得到的数据无需经过后期调整即可得到高同步性和可靠性的多视点视频序列。

    一种大场景下基于人体姿态估计的相机标定方法

    公开(公告)号:CN112581540B

    公开(公告)日:2022-11-18

    申请号:CN202011520371.4

    申请日:2020-12-21

    Applicant: 东南大学

    Abstract: 本发明公开了一种大场景下基于人体姿态估计的相机标定方法,该方法包括步骤1:得到各相机的初始相机参数;步骤2:在多视角相机环境下采集多人数据集用于优化初始相机参数;步骤3:预测数据集中的人体关节点信息;步骤4:将多视角下的人体二维关节点利用初始化的相机参数进行投影,将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标,并将同一关节点的三维投影进行归一化;步骤5:将关节点三维空间坐标重投影到各个视角下的图像坐标系中,得到关节点真值和重投影关节点间的均方误差,利用LM算法进行非线性二次优化并对相机参数进行更新,直到均方误差达到设定的阈值。本发明的方法能够实现更加精确的相机标定。

    一种多相机高速同步拍摄系统及拍摄方法

    公开(公告)号:CN114581284A

    公开(公告)日:2022-06-03

    申请号:CN202210203743.3

    申请日:2022-03-02

    Applicant: 东南大学

    Inventor: 王雁刚 于志鹏

    Abstract: 本发明公开了一种多相机高速同步拍摄系统及拍摄方法,本发明所述系统包括硬件同步器主板、硬件同步器从板、相机、数据采集电脑、电源部分;所述硬件同步器主板用于发出硬件控制触发信号,经过放大电路后输出给硬件同步器从板;所述硬件同步器从板用于接收硬件同步器主板的信号,将控制信号传递给相机,从而触发相机拍摄;所述相机用于接受硬件同步器从板的信号,按照控制触发信号的频率拍摄照片,并传输给数据采集电脑。本发明能够实现多相机,多视点和高速情况下的相机同步拍摄问题,使得拍摄得到的数据无需经过后期调整即可得到高同步性和可靠性的多视点视频序列。

Patent Agency Ranking