-
公开(公告)号：CN111753698A
公开(公告)日：2020-10-09
申请号：CN202010553044.2
申请日：2020-06-17
Abstract: 本发明公开了一种多模态三维点云分割系统和方法，本发明能够很好地对对模态的数据进行融合，并且引入了先验掩膜，得到的场景分割的结果鲁棒性更好，且具有更高的分割精度；针对不同的场景，比如卫生间、会议室、办公室等场景都能有较好地预测结果，模型具有较好的泛化性；对于不用的用于提取点云特征的骨架网络，都可以尝试利用这里的特征和决策融合的模块，改善精度；如果计算条件允许，可以尝试更多的点，利用更大的区域，例如以同样的倍数扩大使用的点的个数和场景区域的大小，以提升整个模型的感受野，提升模型对整个场景的感知能力。
-
公开(公告)号：CN110070595B
公开(公告)日：2020-11-24
申请号：CN201910270322.0
申请日：2019-04-04
Abstract: 本发明公开了一种基于深度学习的单张图像3D对象重建方法，包括：1、输入包含多对象的单彩色图像；2、利用预训练的RPN，输出指定类别的域候选的各个区域；3、将各区域并行送入形状‑姿态预测子网络；4、预测出原对象在三维空间中的形状参数和姿态参数；5、形状采样子网络根据形状参数解码出对应形状空间的点云模型；6、对生成的点云模型进行姿态参数进行刚性变换；7、输出该区域所包含对象的结构、姿态三维重建结果。本发明选取了点云模型作为与网络结构交互的三维数据表示，使得网络对3D数据具备更好的理解能力，同时利用“采样点数”而非“采样量化单元大小”进行精度控制，可以更好的控制复杂度，且保证了对象刚性运动中的不变性。
-
公开(公告)号：CN111753698B
公开(公告)日：2024-08-09
申请号：CN202010553044.2
申请日：2020-06-17
IPC: G06V20/64 , G06V10/26 , G06V10/56 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0455
Abstract: 本发明公开了一种多模态三维点云分割系统和方法，本发明能够很好地对对模态的数据进行融合，并且引入了先验掩膜，得到的场景分割的结果鲁棒性更好，且具有更高的分割精度；针对不同的场景，比如卫生间、会议室、办公室等场景都能有较好地预测结果，模型具有较好的泛化性；对于不用的用于提取点云特征的骨架网络，都可以尝试利用这里的特征和决策融合的模块，改善精度；如果计算条件允许，可以尝试更多的点，利用更大的区域，例如以同样的倍数扩大使用的点的个数和场景区域的大小，以提升整个模型的感受野，提升模型对整个场景的感知能力。
-
公开(公告)号：CN115601295A
公开(公告)日：2023-01-13
申请号：CN202211018646.3
申请日：2022-08-24
Applicant: 东南大学(CN)
IPC: G06T7/00 , G06T7/11 , G06V10/46 , G06V10/77 , G06V10/774 , G06V10/82 , G06N3/08 , G06N3/0464
Abstract: 本发明提供了一种基于深度神经网络和模型先验的3D心脏形状重建方法，包括：构建心脏的三维模型集，执行主成分分析从而产生低维的参数隐空间；数据增强，从得到的参数空间采样，生成参数回归网络的训练集；构建参数回归网络，使用生成的训练集训练参数回归网络；生成分割网络的训练集，构建分割网络，使用生成的数据集训练分割网络；将经过训练的分割网络与经过训练的参数网络连接构成联合网络，使用真实数据构成的训练集对联合网络进行训练，用训练好的联合网络执行三维重建任务。本发明使得推理过程高效快速；结果更为合理；分割和重建效果都有提升；提出了一种数据增强方法，从大量合成数据的训练中提升参数估计网络的泛化性能。
-
公开(公告)号：CN112785692B
公开(公告)日：2022-11-18
申请号：CN202110128917.X
申请日：2021-01-29
Applicant: 东南大学
Abstract: 本发明提供了一种基于深度UV先验的单视角多人人体重建方法，利用二维姿态估计结果定位、分割人体图像，结合基于变分自编码器的UV人体先验，从分割的图像中动态重建多个人体三维网格模型。本发明方法包括：构建基于变分自编码器的人体UV先验网络；训练人体重建网络；使用人体重建网络完成多人人体三维重建。本发明保证了输入网络的图像信息的纯净性，同时增强了网络的泛化能力，能够在网络从少量的可见人体图像信息中重建完整的人体三维模型时提供额外的人体信息，保证了重建得到的三维人体模型的合理性，并能够支持部分人体区域在图像中受遮挡，不可见情况下的重建，能够实现在多人遮挡情况下重建带绝对位置的三维人体模型。
-
Patent Agency Ranking
公开(公告)号：CN115170758A
公开(公告)日：2022-10-11
申请号：CN202210663156.2
申请日：2022-06-13
Applicant: 东南大学
Abstract: 本发明提出了一种基于物理引擎的三维手物交互重建方法和系统，包括以下步骤：1、按照预期目标，搭建所需要的神经网络，从单张彩色图像中获得手物交互的姿态参数；2、根据已获得的姿态参数，使用堆叠椭球体表示三维手物模型；3、将三维手物交互模型，输入到物理引擎Bullet仿真平台中，通过测试手物交互过程中合外力的大小，判断手物交互是否稳定；4、基于当前的姿态参数进行采样，获得新的姿态参数；5、再次在物理引擎中估计手物交互的稳定性，直至达到设定的迭代次数，在重建结果中选择最优结果作为手物交互的最终结果。本发明只需要单张RGB图像，便可以将稳定的抓取过程重建出来，实现了端到端的建模方式，减少了手物交互重建过程中的复杂度。
-
公开(公告)号：CN114998520A
公开(公告)日：2022-09-02
申请号：CN202210619894.7
申请日：2022-06-02
Applicant: 东南大学
Abstract: 本发明提出了一种基于隐式表示的三维交互手重建方法和系统，包括以下步骤：1、搭建特征提取神经网络，先从单张输入彩色图像中获取全局和区域特征，再根据输入图像和区域特征进一步获取实例和关节特征；2、利用获取的区域特征、实例特征和关节特征，根据查询策略选取查询点，并构建查询条件；3、构建参数化的隐式神经网络，基于查询点和查询条件，进行隐式重建；4、对重建的模型进行物理优化，惩罚不合理的穿透，调整并更新重建的模型；5、迭代优化重建的模型，直到最大穿透深度小于2mm，则将优化结果作为交互手的最终重建结果。本发明只需要单张彩色图像，便可以将图像中任意手性和数量的手重建出来，实现了端到端的建模方式，提高了三维手势和形状重建的质量。
-
公开(公告)号：CN111339870B
公开(公告)日：2022-04-26
申请号：CN202010099358.X
申请日：2020-02-18
Applicant: 东南大学
Abstract: 本发明公开了一种针对物体遮挡场景的人体形状和姿态估计方法,将计算得到的弱透视投影参数转换到相机坐标下，获得不带遮挡情况下包含人体形状信息的UV图像；对人体二维图像加入随机物体图片遮挡，并获取遮挡情况下的人体掩膜；将获得的虚拟遮挡数据训练编码‑解码结构的UV贴图修复网络；输入真实物体遮挡人体彩色图像，以掩膜图像作为真值构建编码‑解码结构的显著性检测网络；使用编码得到的隐空间特征监督人体编码网络训练；输入遮挡人体彩色图像，得到完整的UV图像；使用UV图像与人体三维模型的顶点对应关系恢复出遮挡情况下的人体三维模型。本发明将遮挡人体形状估计转化为二维UV贴图的图像修复问题，进而实现遮挡场景下人体的实时、动态重建。
-
公开(公告)号：CN113781654A
公开(公告)日：2021-12-10
申请号：CN202111160093.0
申请日：2021-09-30
Applicant: 东南大学
Abstract: 本发明公开一种利用球面展开侧写进行手部三维网格模型骨架提取方法，该方法首先将手部三维网格模型转换为球面展开侧写，所述球面展开侧写是利用笛卡尔坐标系到球坐标系变换，将三维网格对应的曲面投影到三个互补的、由球坐标作为索引的侧写图像上，依次命名为射线侧写、经线侧写和纬线侧写；然后将得到的球面展开侧写结果送入一个热图回归网络输出手部关节热度图；再根据热图回归网络的输出结果计算手部节点球空间坐标；最后利用球坐标到笛卡尔坐标系的逆变换，将关节点球坐标转换为笛卡尔坐标。本发明的方法能够从任意网格拓扑、手部姿态和水密程度的手部网格模型中提取手部骨架。
-
公开(公告)号：CN113379904A
公开(公告)日：2021-09-10
申请号：CN202110758141.X
申请日：2021-07-05
Applicant: 东南大学
Abstract: 本发明公开了一种基于隐空间运动编码的多人人体模型重建方法，具体包括步骤：S1.隐空间运动先验训练：S2.搭建多视角相机系统并采集多人体运动视频；S3.对步骤S2中搭建的多视角相机系统采集到的多人体运动视频使用现有开源二维姿态估计和跟踪进行预处理，获得二维关节点轨迹；S4.获取初始相机外参；S5.完成多人体运动视频中每个待重建人体的对齐；S6.迭代优化隐空间编码和步骤S4中获得的初始相机外参，使三维人体模型的关节点投影与步骤S3中得到的二维关节点轨迹一致，最后对每帧中的人体模型进行蒙皮后即可获得整个序列的人体重建结果。本发明降低了多人相互遮挡、跟踪误差对重建的影响。
-
-
-
-
-
-
-
-
-
Search Results
59
records
(took 0.02 seconds)
