公开(公告)号：CN117292149A

公开(公告)日：2023-12-26

申请号：CN202311279184.5

申请日：2023-10-07

Applicant: 杭州电子科技大学

Inventor： 崔凤宇 ,  周晓飞 ,  薛梦凡

IPC: G06V10/46 ,  G06V10/25 ,  G06V10/82 ,  G06V10/40 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/048

Abstract: 本发明公布了一种基于多模态融合的显著目标检测模型，包括三种模态特征均通过vgg16网络提取。为了能够充分使用不同模态的特征，将每一层提取到的特征送入特征融合模块，特征融合模块分为两个部分，分别为特征连接和特征融合。利用了相邻两层特征之间的相似性，来生成增强后的特征，并用它们生成的空间注意力模块增强上一层的解码器输出特征。从而得到比较显著的特征图。将第四层S模块的输出向后跳跃连接到每个解码器D模块的输入端，与其他输入进行相加。这样能够多次充分利用高级语义特征。使得融合更加充分。另外，本发明在每一个编码器的输出端都设有一个损失监督，以更加细化的训练每一个模块。从而拥有一个非常准确的显著目标检测结果。