一种运动信息辅助的视觉单目标跟踪方法

    公开(公告)号:CN116309683A

    公开(公告)日:2023-06-23

    申请号:CN202211532172.4

    申请日:2022-12-01

    Abstract: 本发明属于机器学习、视觉目标跟踪领域,提供了一种运动信息辅助的视觉单目标跟踪方法。本发明分别对跟踪过程中的相机运动和目标运动进行建模。对于相机运动建模方法,本发明使用特征点匹配算法计算出相邻帧间变换矩阵,并给出由相机运动导致的目标偏移量。对于目标运动建模方法,本发明使用卷积‑长短时记忆网络通过目标历史运动信息,估计目标未来的速度和位置。本发明在引入运动信息进行辅助跟踪后,可以显著提高跟踪算法应对光照变化,遮挡等挑战的能力,提升跟踪算法鲁棒性,并且具有较低的计算量,能够达到实时跟踪需求。

    基于时序-视觉融合的大小模型协同跟踪方法

    公开(公告)号:CN119027459A

    公开(公告)日:2024-11-26

    申请号:CN202411513836.1

    申请日:2024-10-29

    Abstract: 本发明提供了基于时序‑视觉融合的大小模型协同跟踪方法,属于机器学习、计算机视觉、目标跟踪领域。通过设计一个即插即用的轻量化时序小模型,嵌入现有基于Transformer的跟踪方法中,从而编码目标的时序运动信息与视觉外观特征进行自适应交互,实现复杂场景下的鲁棒目标跟踪。本发明从视频数据特有的时序连贯性出发,自适应融合时序与视觉线索,有效弥补了单一视觉线索固有的局限性,使模型能够在复杂的真实场景中有效对抗背景干扰、遮挡等挑战,获得鲁棒跟踪性能。本发明的核心内容包括时序运动编码模块、视觉与运动特征自适应融合模块,以及提示学习训练策略。

    一种基于蒸馏的轻量化无人机单目标跟踪方法

    公开(公告)号:CN118379332B

    公开(公告)日:2024-08-16

    申请号:CN202410830906.X

    申请日:2024-06-26

    Abstract: 本发明提供一种基于蒸馏的轻量化无人机单目标跟踪方法,属于目标跟踪领域。本发明的主干网络为一个轻量化的ViT‑Base模型,其层数和通道数分别为3和128,总参数量仅为1.428M。轻量化后的ViT‑Base模型大大减少了在推理过程中的时间消耗和内存占用,从而达到模型加速和轻量化的目的。为了有效提高模型的性能,本发明采用多层特征蒸馏的方法,将轻量化模型作为学生模型,ViT‑Base大模型作为教师模型完成模型训练。轻量化模型在训练之初加载预训练的MAE权重参数完成模型初始化。加载预训练权重参数,大大提高了模型的收敛速度并有效提高了模型的泛化性和鲁棒性。

Patent Agency Ranking