公开(公告)号：CN116740133A

公开(公告)日：2023-09-12

申请号：CN202310356107.9

申请日：2023-04-06

Applicant: 杭州电子科技大学信息工程学院

Inventor： 孙强 ,  叶岩明 ,  张苹芮 ,  曾依诺

IPC: G06T7/246 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0455

Abstract: 本发明适用于目标跟踪技术领域，提供了一种基于XFormer神经网络的多目标跟踪方法及系统，包括以下步骤：通过CNN神经网络对输入XFormer神经网络的图像进行帧级特征的提取，利用一维卷积进行降维，并与图像对应的空间位置编码进行融合，XFormer神经网络由CNN神经网络和TransFormer构成，TransFormer由Encoder和Decoder两部分组成；将CNN神经网络提取的帧级特征以及空间位置编码传入TransFormer的多层Encoder部分，将输入序列压缩成指定长度的向量，并传入Decoder部分；通过多层Decoder解码处理获得候选的跟踪类别和位置信息；通过两个全连接层获得最终的类别和位置信息。本发明中的XFormer神经网络能够部署到实时性较好的便携式设备中，并完成对多目标的跟踪。