公开(公告)号：CN119313849A

公开(公告)日：2025-01-14

申请号：CN202411428680.7

申请日：2024-10-14

Applicant: 东北大学 ,  北京仿真中心

Inventor： 张云洲 ,  王星硕 ,  张之尧 ,  梅铮 ,  王梦婷 ,  刘晨 ,  李志腾 ,  陈炫华

IPC: G06T17/20 ,  G06T7/73 ,  G06V20/64 ,  G06V10/762 ,  G06V10/764 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明属于计算机视觉及机器人领域，公开一种基于神经隐式表示的元宇宙稠密级实例建模方法。利用实例图像、深度图像和相机内参得到空间点坐标，生成物体包围框将空间点转换到物体坐标系；采用坐标和平面联合编码方法对空间点进行特征编码，多层级线性插值得到物体特征向量和场景特征向量并进行特征融合，特征向量解码重构原始图像；利用输出信息与真值的误差优化网络和相机位姿估计结果，通过SDF网络生成场景Mesh和实例场景Mesh。本发明同时实现跟踪和地图重建，提高局部场景的重建精度和相机跟踪的精度。基于坐标和平面联合编码有效补全场景中未知区域。最终实现能够确保精确的跟踪精度、高保真的重建结果和完整的语义实例图。

公开(公告)号：CN118470241A

公开(公告)日：2024-08-09

申请号：CN202410517685.0

申请日：2024-04-28

Applicant: 东北大学

Inventor： 张云洲 ,  张之尧 ,  陈炫华 ,  沈优

IPC: G06T17/20 ,  G06T17/00 ,  G06T15/55 ,  G06T7/579

Abstract: 本发明属于神经隐式表征及视觉SLAM技术领域，公开了一种基于体素四面体编码的神经隐式SLAM方法。根据3D点表征场景分别进行体素嵌入和四面体网格编码后，二者拼接，将整个场景建模成可学习的网格特征向量构成的编码空间，得到几何编码和颜色编码；几何编码和颜色编码分别经对应的解码器解码，通过体渲染生成结果与真实结果生成损失函数；采用经典的滑动窗口机制，不断优化当前帧之前的几个关键帧，当关键帧数量超过窗口的最大容量时，从滑动窗口中移除损失最低的关键帧，从而确保滑动窗口中的关键帧数量不超过7帧，保证运行效率。我们的方法能够在Replica和ScanNet数据集上实现准确的相机跟踪，并产生高质量的重建结果。