公开(公告)号：CN117274349A

公开(公告)日：2023-12-22

申请号：CN202311235849.2

申请日：2023-09-22

Applicant: 南开大学

Inventor： 任博 ,  蔡宇翔 ,  朱一凡 ,  张海威

IPC: G06T7/593 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种基于RGB‑D相机一致性深度预测的透明物体重建方法及系统，获取RGB‑D相机的包含透明物体的RGB图像、深度图像和相机内参信息；利用透明物体分割网络，基于所述RGB图像，得到透明物体的掩码；将掩码应用在所述深度图像上，获取非透明物体区域的深度值，并利用相机内参信息获取该图像在三维空间的点云；基于掩码、RGB图像和三维空间点云，利用预先训练的一致性深度预测神经网络进行深度图像预测，得到恢复出的深度图像；基于所述恢复出的深度图像、RGB图像和相机内参信息，进行三维重建，得到最终结果。本发明可以对存在以透明物体为前景的场景进行准确重建。

公开(公告)号：CN116912399A

公开(公告)日：2023-10-20

申请号：CN202310407755.2

申请日：2023-04-17

Applicant: 南开大学

Inventor： 任博 ,  邱佳雄 ,  程明明 ,  姜鹏涛 ,  朱一凡 ,  尹泽鑫

IPC: G06T17/00 ,  G06T15/50 ,  G06T15/06 ,  G06T7/90 ,  G06T7/73 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明涉及计算机视觉技术领域，提供一种基于隐式神经表征的高反射物体表面重建方法及框架，该方法包括：采集待重建物体的RGB图像并分解为目标物体部分和含高反射信息的辅助平面部分；通过神经网络学习物体路径和平面路径的隐式表征；将相机采集RGB图像时的位姿对应的三维空间采样点和视角方向向量送入所述物体路径获取目标物体显现，将关于辅助平面反射投影得到的重构三维采样点和视角方向向量送入平面路径获取分离高反射信息后的辅助平面显现；线性融合目标物体显现和辅助平面显现获取渲染图像，基于RGB图像对其进行监督，该方法可以对带有高强度反射干扰的目标物体进行三维重建，提升了物体重建的精确度。