公开(公告)号：CN118334078A

公开(公告)日：2024-07-12

申请号：CN202410440627.2

申请日：2024-04-12

Applicant: 北京理工大学

Inventor： 宋勇 ,  刘淑琪 ,  周雅 ,  黄昳 ,  贺宏宇

IPC: G06T7/246 ,  G06V10/82 ,  G06V10/80 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开的一种融合RGB/EVENT双模态样本的目标跟踪方法，属于计算机视觉技术领域。本发明设计SiamEFT目标跟踪融合网络架构，分别采用ANN和SNN提取RGB模态和EVENT模态的特征信息，避免单一网络对双模态样本的时间和空间信息提取不充分；使用跨模态融合模块将双模态特征信息依据处理的信息特点进行有效融合，在各种复杂场景下充分利用网络处理出的特征信息，提高跟踪器的跟踪精度。本发明使用RGB和EVENT双模态数据进行目标跟踪，RGB数据提供目标丰富的低频和高频纹理信息，EVENT数据提供目标不受运动模糊和不良照明影响的目标边缘信息。采用自适应时间注意力模块将事件数据聚合成帧，按照自适应权重输入后续网络，避免事件数据稀疏不均匀造成的运算量增加。