公开(公告)号：CN118196589A

公开(公告)日：2024-06-14

申请号：CN202410317956.8

申请日：2024-03-20

Applicant: 江南大学

Inventor： 陈莹 ,  刘诗蓓

IPC: G06V10/82 ,  G06N3/042 ,  G06N3/045 ,  G06N3/0895 ,  G06N3/096 ,  G06V10/80 ,  G06V10/74 ,  G06V10/764 ,  G10L25/03

Abstract: 本发明公开了自适应多教师蒸馏下基于音频的目标检测方法及系统，属于目标检测技术领域。本发明首先加入声音模态，结合RGB、深度和红外三个教师模态，利用知识蒸馏的方式指导音频学生，提高面对复杂环境的鲁棒性；此外针对模态差异和教师模型检测性能不同的问题，设计了一个自适应多教师蒸馏框架，提出了基于角度的自适应多教师损失，利用教师和学生中间层特征间的潜在关系作为教师重要性权重的指标，利用余弦相似度计算加权后的教师网络和学生网络逻辑输出层的角度损失，抑制中间层特征可能带来的无用信息和噪声信息，降低标签噪声，最后在多模态视听检测MAVD数据集中对网络进行训练和测试，结果表明本发明的检测精度优于基线网络。