公开(公告)号：CN120071074A

公开(公告)日：2025-05-30

申请号：CN202411941584.2

申请日：2024-12-26

Applicant: 北京工业大学

Inventor： 王瑾 ,  陈家德 ,  孙学强 ,  侯屹林 ,  高洪鹏

IPC: G06V10/82 ,  G06V10/40 ,  G06V10/80 ,  G06V20/64 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/042 ,  G06N3/096 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明提供了一种多视角深度图引导的跨模态蒸馏点云上采样方法，包括跨模态特征提取模块和细节估计的蒸馏结构；为了提取稀疏点云充分的跨模态表征，提出了一种双分支的跨模态特征提取模块，分别提取点云特征和多视角深度图特征；为了更好的融合这两种模态的特征，设计了多视角深度图到点特征融合模块，作用在特征提取模块的不同层，以细粒度的方式将像素特征融合到每个点特征当中；为利用稠密点云深度图的细节信息，构建蒸馏结构：教师网络输入稠密点云深度图并提取多层次细节表征，学生网络在教师网络引导下仅利用稀疏点云深度图预测这些表征，提升重建质量；基于目标数值优化初始点云上采样网络，得到点云上采样网络。