公开(公告)号：CN118898705A

公开(公告)日：2024-11-05

申请号：CN202311596776.X

申请日：2023-11-28

Applicant: 安徽大学

Inventor： 王逍 ,  王世傲 ,  江波

IPC: G06V10/22 ,  G06V10/764 ,  G06V10/74 ,  G06V10/80 ,  G06N3/09 ,  G06N3/045

Abstract: 本发明公开了一种基于多尺度知识蒸馏的事件跟踪方法，属于事件相机技术领域，包括以下步骤：S1、输入双模态数据，训练教师网络；其中，双模态数据包括RGB帧和事件流；S2、输入单模态事件流数据，训练学生网络，其中，单模态事件流数据包括事件流；通过三层知识蒸馏利用教师网络的参数来监督和指导学生网络的学习。通过上述方式，本发明利用多层知识蒸馏的方式来对学生网络进行多层监督，可提高目标学生网络的鲁棒性。学生网络的输入是单模态事件流数据，通过教师网络的指导，在高速推理速度的情况下实现性能的提升。利用Transformer骨干网络建立时序信息的远距离依赖关系，深入挖掘视频帧的深层次时空信息，得到更好的特征表达。