一种基于多模态联合感知的三维点云数据补全方法

    公开(公告)号:CN119206149B

    公开(公告)日:2025-04-01

    申请号:CN202411256034.7

    申请日:2024-09-09

    Abstract: 一种基于多模态联合感知的三维点云数据补全方法,属于点云补全技术领域。方法如下:采用CLIP视觉大模型提取图像特征;提取点云特征;综合利用图像特征与点云特征生成形状潜码指导扩散模型生成初始点云。拼接初始点云与不完整输入点云后最远点采样得到过程点云;基于非局部相似性生成过程点云坐标偏移;利用掩码机制调整偏移,处理过程点云中的高质量点和低质量点,得到补全的高质量点云。本发明提出了基于扩散模型完成跨模态的形状融合,同时利用视觉大模型提取的图像特征与点云特征生成形状潜码指导扩散模型,实现了图像域到点云域的转移;基于非局部相似性利用掩码机制生成坐标偏移,实现了跨层级细化粗糙输出,生成更高质量的点云。

    一种基于多模态联合感知的三维点云数据补全方法

    公开(公告)号:CN119206149A

    公开(公告)日:2024-12-27

    申请号:CN202411256034.7

    申请日:2024-09-09

    Abstract: 一种基于多模态联合感知的三维点云数据补全方法,属于点云补全技术领域。方法如下:采用CLIP视觉大模型提取图像特征;提取点云特征;综合利用图像特征与点云特征生成形状潜码指导扩散模型生成初始点云。拼接初始点云与不完整输入点云后最远点采样得到过程点云;基于非局部相似性生成过程点云坐标偏移;利用掩码机制调整偏移,处理过程点云中的高质量点和低质量点,得到补全的高质量点云。本发明提出了基于扩散模型完成跨模态的形状融合,同时利用视觉大模型提取的图像特征与点云特征生成形状潜码指导扩散模型,实现了图像域到点云域的转移;基于非局部相似性利用掩码机制生成坐标偏移,实现了跨层级细化粗糙输出,生成更高质量的点云。

Patent Agency Ranking