一种基于深度学习的单张图像3D对象重建方法

    公开(公告)号:CN110070595B

    公开(公告)日:2020-11-24

    申请号:CN201910270322.0

    申请日:2019-04-04

    Inventor: 王雁刚 赵子萌

    Abstract: 本发明公开了一种基于深度学习的单张图像3D对象重建方法,包括:1、输入包含多对象的单彩色图像;2、利用预训练的RPN,输出指定类别的域候选的各个区域;3、将各区域并行送入形状‑姿态预测子网络;4、预测出原对象在三维空间中的形状参数和姿态参数;5、形状采样子网络根据形状参数解码出对应形状空间的点云模型;6、对生成的点云模型进行姿态参数进行刚性变换;7、输出该区域所包含对象的结构、姿态三维重建结果。本发明选取了点云模型作为与网络结构交互的三维数据表示,使得网络对3D数据具备更好的理解能力,同时利用“采样点数”而非“采样量化单元大小”进行精度控制,可以更好的控制复杂度,且保证了对象刚性运动中的不变性。

    利用离散姿态学习物理约束的手部运动自监督重建方法

    公开(公告)号:CN113723163B

    公开(公告)日:2024-04-16

    申请号:CN202110291346.1

    申请日:2021-06-07

    Applicant: 东南大学

    Inventor: 王雁刚 赵子萌

    Abstract: 本发明首先提供了利用离散姿态学习物理约束的手部运动自监督重建方法,基于关键帧技术的编码器‑解码器手部运动重建深度学习网络架构,包括以下单元:单帧手部姿态估计单元,其对于视频序列进行逐帧的手部姿态估计;运动序列编码单元,其作用在于从上述逐帧检测结果中提取能够描述手部运动的关键姿态列表,而冗余的或包含高频抖动的姿态帧被舍弃;运动序列解码单元,其作用在于根据上述关键姿态列表,重建出和原始视频序列描述一致的手部运动。

    一种基于隐式表示的三维交互手重建方法和系统

    公开(公告)号:CN114998520B

    公开(公告)日:2024-11-12

    申请号:CN202210619894.7

    申请日:2022-06-02

    Applicant: 东南大学

    Abstract: 本发明提出了一种基于隐式表示的三维交互手重建方法和系统,包括以下步骤:1、搭建特征提取神经网络,先从单张输入彩色图像中获取全局和区域特征,再根据输入图像和区域特征进一步获取实例和关节特征;2、利用获取的区域特征、实例特征和关节特征,根据查询策略选取查询点,并构建查询条件;3、构建参数化的隐式神经网络,基于查询点和查询条件,进行隐式重建;4、对重建的模型进行物理优化,惩罚不合理的穿透,调整并更新重建的模型;5、迭代优化重建的模型,直到最大穿透深度小于2mm,则将优化结果作为交互手的最终重建结果。本发明只需要单张彩色图像,便可以将图像中任意手性和数量的手重建出来,实现了端到端的建模方式,提高了三维手势和形状重建的质量。

    一种金属氧化物/介孔二氧化硅复合物修饰的高稳固纤维式陶瓷膜及其及制备方法和应用

    公开(公告)号:CN117942782A

    公开(公告)日:2024-04-30

    申请号:CN202410176235.X

    申请日:2024-02-08

    Abstract: 本发明公开了一种金属氧化物/介孔二氧化硅复合物修饰的高稳固纤维式陶瓷膜及其制备方法和应用,该陶瓷膜由支撑层和分离膜层构成,其中分离膜层由氧化铝浆液与负载纳米金属氧化物的介孔二氧化硅复合物混合后经浸润、煅烧制成。此陶瓷膜在外加压力下具有较好的稳固性,不易发生支撑体弯曲或膜层开裂脱落等问题。相较于传统浸泡后煅烧来负载氧化铜的平板陶瓷膜,本发明提供的陶瓷膜具有负载金属氧化物操作过程简易,负载效率高,负载量可调控,批次稳定,重现性好等优势。制得的陶瓷膜具有稳固性好、出水通量高、抑菌效果好、抗污能力强等优势,可应用于长时间工业生产及生活用水净化,具有较好的应用前景。

    利用离散姿态学习物理约束的手部运动自监督重建方法

    公开(公告)号:CN113723163A

    公开(公告)日:2021-11-30

    申请号:CN202110291346.1

    申请日:2021-06-07

    Applicant: 东南大学

    Inventor: 王雁刚 赵子萌

    Abstract: 本发明首先提供了利用离散姿态学习物理约束的手部运动自监督重建方法,基于关键帧技术的编码器‑解码器手部运动重建深度学习网络架构,包括以下单元:单帧手部姿态估计单元,其对于视频序列进行逐帧的手部姿态估计;运动序列编码单元,其作用在于从上述逐帧检测结果中提取能够描述手部运动的关键姿态列表,而冗余的或包含高频抖动的姿态帧被舍弃;运动序列解码单元,其作用在于根据上述关键姿态列表,重建出和原始视频序列描述一致的手部运动。

    利用球面展开侧写进行手部三维网格模型骨架提取方法

    公开(公告)号:CN113781654B

    公开(公告)日:2023-12-19

    申请号:CN202111160093.0

    申请日:2021-09-30

    Applicant: 东南大学

    Inventor: 王雁刚 赵子萌

    Abstract: 本发明公开一种利用球面展开侧写进行手部三维网格模型骨架提取方法,该方法首先将手部三维网格模型转换为球面展开侧写,所述球面展开侧写是利用笛卡尔坐标系到球坐标系变换,将三维网格对应的曲面投影到三个互补的、由球坐标作为索引的侧写图像上,依次命名为射线侧写、经线侧写和纬线侧写;然后将得到的球面展开侧写结果送入一个热图回归网络输出手部关节热度图;再根据热图回归网络的输出结果计算手部节点球空间坐标;最后利用球坐标到笛卡尔坐标系的逆变换,将关节点球坐标转换为笛卡尔坐标。本发明的方法能够从任意网格拓扑、手部姿态和水密程度的手部网格模型中提取手部骨架。

    一种基于深度学习的单张图像3D对象重建方法

    公开(公告)号:CN110070595A

    公开(公告)日:2019-07-30

    申请号:CN201910270322.0

    申请日:2019-04-04

    Applicant: 东南大学

    Inventor: 王雁刚 赵子萌

    Abstract: 本发明公开了一种基于深度学习的单张图像3D对象重建方法,包括:1、输入包含多对象的单彩色图像;2、利用预训练的RPN,输出指定类别的域候选的各个区域;3、将各区域并行送入形状-姿态预测子网络;4、预测出原对象在三维空间中的形状参数和姿态参数;5、形状采样子网络根据形状参数解码出对应形状空间的点云模型;6、对生成的点云模型进行姿态参数进行刚性变换;7、输出该区域所包含对象的结构、姿态三维重建结果。本发明选取了点云模型作为与网络结构交互的三维数据表示,使得网络对3D数据具备更好的理解能力,同时利用“采样点数”而非“采样量化单元大小”进行精度控制,可以更好的控制复杂度,且保证了对象刚性运动中的不变性。

    一种基于隐式表示的三维交互手重建方法和系统

    公开(公告)号:CN114998520A

    公开(公告)日:2022-09-02

    申请号:CN202210619894.7

    申请日:2022-06-02

    Applicant: 东南大学

    Abstract: 本发明提出了一种基于隐式表示的三维交互手重建方法和系统,包括以下步骤:1、搭建特征提取神经网络,先从单张输入彩色图像中获取全局和区域特征,再根据输入图像和区域特征进一步获取实例和关节特征;2、利用获取的区域特征、实例特征和关节特征,根据查询策略选取查询点,并构建查询条件;3、构建参数化的隐式神经网络,基于查询点和查询条件,进行隐式重建;4、对重建的模型进行物理优化,惩罚不合理的穿透,调整并更新重建的模型;5、迭代优化重建的模型,直到最大穿透深度小于2mm,则将优化结果作为交互手的最终重建结果。本发明只需要单张彩色图像,便可以将图像中任意手性和数量的手重建出来,实现了端到端的建模方式,提高了三维手势和形状重建的质量。

    利用球面展开侧写进行手部三维网格模型骨架提取方法

    公开(公告)号:CN113781654A

    公开(公告)日:2021-12-10

    申请号:CN202111160093.0

    申请日:2021-09-30

    Applicant: 东南大学

    Inventor: 王雁刚 赵子萌

    Abstract: 本发明公开一种利用球面展开侧写进行手部三维网格模型骨架提取方法,该方法首先将手部三维网格模型转换为球面展开侧写,所述球面展开侧写是利用笛卡尔坐标系到球坐标系变换,将三维网格对应的曲面投影到三个互补的、由球坐标作为索引的侧写图像上,依次命名为射线侧写、经线侧写和纬线侧写;然后将得到的球面展开侧写结果送入一个热图回归网络输出手部关节热度图;再根据热图回归网络的输出结果计算手部节点球空间坐标;最后利用球坐标到笛卡尔坐标系的逆变换,将关节点球坐标转换为笛卡尔坐标。本发明的方法能够从任意网格拓扑、手部姿态和水密程度的手部网格模型中提取手部骨架。

Patent Agency Ranking