公开(公告)号：CN117495935A

公开(公告)日：2024-02-02

申请号：CN202310594441.8

申请日：2023-05-24

Applicant: 南京工业大学

Inventor： 董耀 ,  张印强 ,  李丽娟 ,  张登峰

IPC: G06T7/50 ,  G06T7/80 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 一种基于交叉特征提取窗口与动态特征融合窗口的深度补全方法包括以下步骤：(1)在传统的基于RGB、与深度图(depth)引导的双分支编码‑解码网络基础上，加入语义图(semantic)输入分支；(2)在网络的编码特征提取阶段，加入基于注意力机制的交叉特征提取窗口(CFEW)挖掘各模态之间的交叉互补特征来指导各编码阶段，以此来削弱不相关特征；(3)在网络的特征融合阶段，加入动态特征融合窗口(DFFW)，通过该方式动态的训练出各模态的融合权重，使得融合后的特征向量对于原信息得表达能力更强；(4)融合后的特征向量通过上采样与深度回归，产生密集型深度数据；通过实验证明，该深度补全模型精度比较高，生成的密集型深度图对于环境中物体的边缘信息表达的比较清楚。