公开(公告)号：CN118735959A

公开(公告)日：2024-10-01

申请号：CN202410859580.3

申请日：2024-06-28

Applicant: 郑州轻工业大学

Inventor： 张建伟 ,  蔡增玉 ,  张之琛 ,  张焕龙 ,  朱亮 ,  梁树军 ,  郑倩

IPC: G06T7/246 ,  G06V10/40 ,  G06V10/80 ,  G06V10/77 ,  G06V10/74 ,  G06V10/764 ,  G06N3/0464 ,  G06V10/82 ,  G06V10/22

Abstract: 本发明提出了一种基于目标感知增强‑孪生记忆网络的单目标跟踪方法，包括以下步骤：S0：搭建跟踪器模型，包括骨干网络、目标感知模块、交叉注意力模块和预测头；S1：分别对记忆分支和和搜索分支进行特征提取，获取记忆分支特征图和搜索分支特征图；S2：目标感知模块将搜索分支特征图划分成多个划分区域，分别计算每个划分区域的特征向量，进行粗粒度区域级稀疏计算，进行细粒度自注意力计算，得到目标感知增强后的搜索分支特征；S3：将目标感知增强后的搜索分支特征与记忆分支串联特征图中的特征进行特征融合，得到融合后的特征图；S4：预测头根据融合后的特征图预测目标位置。本发明在搜索分支引入了基于动态双级稀疏注意力机制的目标感知模块，使网络集中注意力于目标周围的重要区域，提高跟踪器在面对目标被遮挡场景时的鲁棒性，从而能够准确预测目标的位置和状态。

公开(公告)号：CN116402849A

公开(公告)日：2023-07-07

申请号：CN202310197848.7

申请日：2023-03-03

Applicant: 郑州轻工业大学 ,  许昌职业技术学院

Inventor： 张建伟 ,  王景超 ,  张焕龙 ,  梁树军 ,  蔡增玉 ,  孙海燕 ,  张之琛 ,  张梦雅

IPC: G06T7/246 ,  G06N3/08 ,  G06V10/40 ,  G06N3/0464

Abstract: 本发明提出了一种基于多模态单流记忆网络的单目标跟踪方法，步骤为：将描述目标的文本输入语言模型提取描述感兴趣目标的语言特征；提取记忆器中的目标样本得到记忆特征，将语言特征、记忆特征和搜索区域特征输入多模态注意力网络生成多模态综合特征；使用预测头对多模态综合特征中的搜索区域特征进行解析得到跟踪结果；使用基于语言的跟踪结果对跟踪结果进行评估，将满足要求的跟踪结果存入记忆器。本发明基于自注意力机制同时利用视觉信息和文本信息可以获得更加完善的跟踪模型，从而提高对于目标变化的适应能力。本发明结合了多模态学习和单流网络结构的优势，利用文本信息的稳定性来弥补视觉信息的脆弱性，从而提升了跟踪的精度。