公开(公告)号：CN119027446A

公开(公告)日：2024-11-26

申请号：CN202310586055.4

申请日：2023-05-23

Applicant: 南京大学

Inventor： 任桐炜 ,  武港山 ,  贝佳 ,  许博约 ,  徐一 ,  侯瑞超

IPC: G06T7/246 ,  G06V10/44 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 一种基于深浅层特征融合的RGBD目标跟踪方法，通过一个目标跟踪模型实现RGBD目标跟踪，目标跟踪模型包括骨干网络、深浅层特征融合以及目标判别模块，离线训练后用于在线跟踪，并在线更新模型参数。本发明构建深浅层特征融合算法学习鲁棒的特征表达，通过注意力机制提取浅层特征的细节纹理信息与深层特征中的轮廓语义信息，并通过特征重分配模块实现充分融合，使用判别模型寻找目标位置与得分。本发明解决了目前大多数RGBD跟踪方法对双模态特征挖掘不充分、融合不彻底的问题，取得了良好的跟踪效果。

公开(公告)号：CN119027693A

公开(公告)日：2024-11-26

申请号：CN202310590319.3

申请日：2023-05-24

Applicant: 南京大学

Inventor： 任桐炜 ,  武港山 ,  贝佳 ,  许博约 ,  宋欣怡 ,  侯瑞超

IPC: G06V10/74 ,  G06V10/774 ,  G06V10/764 ,  G06V10/75 ,  G06T7/20 ,  G06T7/70 ,  G06V20/40

Abstract: 一种结合孪生网络和快速目标优化的电视跟踪方法，构建一个电视跟踪模型用于跟踪拍摄，电视跟踪模型包括孪生跟踪网络和快速目标优化模块，由孪生跟踪网络根据跟踪模板和搜索区域得到初步跟踪结果，然后由快速目标优化模块自适应更新跟踪使用的跟踪模板，实现在线跟踪以及跟踪器的在线更新。本发明利用孪生网络具备的高效的特征提取能力，能够充分提取目标和搜索区域的特征，通过相似度计算得出初步的跟踪结果，同时采用快速目标优化模块，有效解决了电视跟踪中目标运动轨迹复杂导致的跟踪鲁棒性较低的问题。

公开(公告)号：CN119068016A

公开(公告)日：2024-12-03

申请号：CN202310625057.X

申请日：2023-05-30

Applicant: 南京大学

Inventor： 任桐炜 ,  武港山 ,  侯瑞超 ,  许博约

IPC: G06T7/246 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06V10/74

Abstract: 一种基于模态感知特征学习的RGBT目标跟踪方法，构建目标跟踪模型用于RGBT目标跟踪任务，目标跟踪模型包括特征提取模块、模态感知模块、Transformer融合模块、三分支预测头以及模板更新模块；训练采用迁移学习策略。本发明的模态感知模块结合通道特征的聚合和分发机制以及空间特征的相似性感知机制，充分挖掘多模态判别特征；Transformer融合模块用于融合模板与搜索区域的特征，采用混合注意力有效捕获全局依赖关系以增强实例表示；三分支预测头结合相互约束损失函数，提升目标定位精度；模板更新模块用于目标模板的优化，缓解了尺度变化、背景干扰、部分遮挡等挑战因素的影响，进一步提升目标跟踪的稳定性。

公开(公告)号：CN115170605A

公开(公告)日：2022-10-11

申请号：CN202210673885.6

申请日：2022-06-15

Applicant: 南京大学

Inventor： 任桐炜 ,  武港山 ,  侯瑞超 ,  许博约

IPC: G06T7/246 ,  G06T7/269 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于多模态交互和多阶段优化的实时RGBT目标跟踪方法，跟踪模型包括特征提取模块、多模态交互模块、目标分类器以及结果优化模块；利用公开的RGBT数据集对跟踪模型进行训练，包括离线训练和在线训练两个阶段。本发明构建多模态交互模块学习鲁棒的特征表达，改善跨模态特征之间的注意力计算方式，实现两种模态的互补增强，通过引入门控函数，有效去除冗余噪声的影响；构建多阶段优化模块结合光流算法和优化模型实现跟踪结目标的精确重定位，有效缓解相机抖动、局部遮挡等因素造成的影响，提升跟踪模型的鲁棒性和实时性。