公开(公告)号：CN117710852A

公开(公告)日：2024-03-15

申请号：CN202311700861.6

申请日：2023-12-12

Applicant: 长沙理工大学

Inventor： 张建明 ,  覃宇 ,  王建新 ,  王进

IPC: G06V20/40 ,  G06V10/40 ,  G06V10/774 ,  G06V10/80 ,  G06V10/764

Abstract: 本发明公开了一种基于三流特征聚合孪生网络的可见光‑热红外目标跟踪方法，该方法利用三流结构的骨干网络实现了高性能和高效率的可见光‑热红外跟踪。三流骨干网络可以有效地聚合多模态特征，其中两个特征提取流分别采用预训练的Swin Transformer来提取可见光特征和热红外特征，且特别设计了第三个特征融合流桥接两个特征提取流，并在每个阶段实现特征融合，这提供了在所有尺度上更充分的多模态特征聚合，提高了目标检测的精度。本发明设计了联合‑互补特征聚合模块，此外，还进一步提出了深度可分离共享注意力结构，它通过共享第一个卷积层特征和使用深度可分离卷积来降低注意力模块的计算复杂度，从而加快模型的跟踪速度。