公开(公告)号：CN118887255A

公开(公告)日：2024-11-01

申请号：CN202410997498.7

申请日：2024-07-24

Applicant: 安徽大学

Inventor： 鹿安东 ,  王金虎 ,  李成龙 ,  汤进 ,  罗斌

IPC: G06T7/246 ,  G06N3/045 ,  G06N3/096

Abstract: 本发明提出一种基于耦合知识蒸馏的多模态目标跟踪方法和系统：包括：耦合知识蒸馏：在两个学生分支的风格特征之间进行风格蒸馏，在具有相同模态输入的教师和学生分支之间执行内容蒸馏，采用实例归一化操作对教师和学生分支的原始特征进行归一化，从而获得与风格特征正交的内容特征，计算两组教师和学生分支的内容特征之间的相似性以进行内容蒸馏；掩码建模：将学生分支的输入图像随机掩去25％的像素，相应教师分支的输入保持不变，让学生分支自行从教师分支的内容特征中学习恢复掩去部分的特征；多模态候选token消除：在每一层中通过组合两种模态的注意力权重协同决策出候选消除的令牌。本发明通过风格蒸馏打破模态差异，同时利用内容蒸馏从教师网络中保持特征内容表示的稳定，以实现高性能的多模态跟踪。