-
公开(公告)号：CN114299114A
公开(公告)日：2022-04-08
申请号：CN202111625448.9
申请日：2021-12-28
Applicant: 安徽大学
Abstract: 本发明公开了基于元学习参数转移的可见光红外视觉跟踪方法，所述方法包括：构建多模态视觉跟踪控制模型；将样本输入多模态视觉跟踪控制模型对其进行训练，样本包括多个热红外图像和其对应的可见光图像形成的多个图像对以及多个单独的可见光图像，训练过程中先向模型输入图像对进行第一预设次数的迭代训练，然后交替输入单独的可见光图像与图像对对模型继续训练第二预设次数，并且在交替训练过程中利用图像对进行模型训练的时候图像需要经过元学习器；训练完成以后模型跟踪，输出预测目标位置；本发明的优点在于：弥补训练集的不足，提升模型性能，解决现有技术因数据量有限而限制模型性能提升的问题。
-
公开(公告)号：CN110874590A
公开(公告)日：2020-03-10
申请号：CN201911128548.3
申请日：2019-11-18
Applicant: 安徽大学
Abstract: 本发明涉及基基于适配器互学习模型的训练及可见光红外视觉跟踪方法，包括以下步骤；S11、构建网络模型；S12、使用人工标注好的可见光热红外数据集来训练整个网络模型；S21、获取当前帧的候选样本；S22、根据候选样本，预测目标位置；S23、判断当前帧是否跟踪成功。本发明通过在多适配器(包括模式适配器、通用适配器和实例适配器)的基础上引入适配器互学习模块，实现双向跨模态信息传递，以充分利用RGBT跟踪中不同特征学习方式的互补优势来进一步提高跟踪性。
-
公开(公告)号：CN110874590B
公开(公告)日：2023-02-28
申请号：CN201911128548.3
申请日：2019-11-18
Applicant: 安徽大学
IPC: G06V10/80 , G06V10/774 , G06V10/143 , G06V10/82 , G06N3/0464 , G06N3/048
Abstract: 本发明涉及基基于适配器互学习模型的训练及可见光红外视觉跟踪方法，包括以下步骤；S11、构建网络模型；S12、使用人工标注好的可见光热红外数据集来训练整个网络模型；S21、获取当前帧的候选样本；S22、根据候选样本，预测目标位置；S23、判断当前帧是否跟踪成功。本发明通过在多适配器(包括模式适配器、通用适配器和实例适配器)的基础上引入适配器互学习模块，实现双向跨模态信息传递，以充分利用RGBT跟踪中不同特征学习方式的互补优势来进一步提高跟踪性。
-
公开(公告)号：CN110349179B
公开(公告)日：2022-10-14
申请号：CN201910630336.9
申请日：2019-07-12
Applicant: 安徽大学
IPC: G06T7/20 , G06V20/40 , G06V10/774
Abstract: 本发明公开了一种基于多适配器的可见光红外视觉跟踪方法及装置，方法包括：1)、预先构建由可见光模态适配器、通用适配器、热红外模态适配器以及实例适配器的初始识别模型；2)、使用预先标定好目标的样本视频训练初始识别模型，得到训练后的识别模型，其中，样本视频包括：若干个可见光‑热红外光样本视频对；3)、使用训练后的初始识别模型跟踪待识别视频中的待识别目标。应用本发明实施例，可以达到良好的多模态视频跟踪效果。
-
公开(公告)号：CN118887255A
公开(公告)日：2024-11-01
申请号：CN202410997498.7
申请日：2024-07-24
Applicant: 安徽大学
Abstract: 本发明提出一种基于耦合知识蒸馏的多模态目标跟踪方法和系统：包括：耦合知识蒸馏：在两个学生分支的风格特征之间进行风格蒸馏，在具有相同模态输入的教师和学生分支之间执行内容蒸馏，采用实例归一化操作对教师和学生分支的原始特征进行归一化，从而获得与风格特征正交的内容特征，计算两组教师和学生分支的内容特征之间的相似性以进行内容蒸馏；掩码建模：将学生分支的输入图像随机掩去25％的像素，相应教师分支的输入保持不变，让学生分支自行从教师分支的内容特征中学习恢复掩去部分的特征；多模态候选token消除：在每一层中通过组合两种模态的注意力权重协同决策出候选消除的令牌。本发明通过风格蒸馏打破模态差异，同时利用内容蒸馏从教师网络中保持特征内容表示的稳定，以实现高性能的多模态跟踪。
-
Patent Agency Ranking
公开(公告)号：CN115223203A
公开(公告)日：2022-10-21
申请号：CN202210845929.9
申请日：2022-07-19
Applicant: 安徽大学
IPC: G06V40/10 , G06V20/52 , G06V10/80 , G06V10/774 , G06V10/764 , G06V10/40 , G06N3/08 , G06N3/04
Abstract: 本发明公开了一种夜间行人重识别方法、装置、设备及存储介质，所述方法包括：训练夜间行人重识别网络得到训练好的网络；将原始图像送入DCE‑Net获得映射图，使用映射图对原始图像迭代进行亮度增强，得到亮度增强后的图像，送入第一ResNet50中，得到亮度增强后的图像的特征图；将原始图像送入第二ResNet50，得到原始图像的特征图；将原始图像的特征图和经过亮度增强后的图像的特征图通过级联操作获得融合特征，送入亮度蒸馏模块，获得最终的融合特征；将最终的融合特征与图库中各图像对应的特征进行对比，根据相似性得分进行排序得到识别结果；本发明的优点在于：保留身份判别信息，从而对夜间行人重识别的能力较强。
-
公开(公告)号：CN114332166A
公开(公告)日：2022-04-12
申请号：CN202111671516.5
申请日：2021-12-31
Applicant: 安徽大学
Abstract: 本发明公开一种基于模态竞争协同网络的可见光红外目标跟踪方法及装置，方法包括：以所要跟踪当前帧的上一帧中目标预测位置为中心，生成第一候选样本集合；将第一候选样本集合输入至训练好的跟踪模型，得到当前帧的目标跟踪结果；跟踪模型包括特征提取网络和目标分类器；特征提取网络包括第一提取网络、第二提取网络和权重分配网络，第一提取网络和第二提取网络均包括VGG‑M的前三层卷积层，且每一卷积层中包含N个相同尺寸的卷积核形成卷积核组。通过引入卷积核组和多权重分配网络来生成多核动态协同的卷积核，利用卷积核组中包含的若干个卷积核，可以提取更多样的特征，达到良好的多模态视频跟踪效果。
-
公开(公告)号：CN118674945A
公开(公告)日：2024-09-20
申请号：CN202410872684.8
申请日：2024-07-01
Applicant: 安徽大学
IPC: G06V10/62 , G06N3/0455 , G06N3/084 , G06V10/80
Abstract: 本发明提供一种基于自适应感知的通用型多模态目标跟踪模型、训练方法、应用。具体的，在模型输入层，考虑到可见光模态比红外、深度和事件模态具有更加丰富的语义信息，为了更好的保留这些信息，为可见光模态单独设置了一个嵌入层，为红外、深度和事件模态设置一个共享的嵌入层，这样的设置同样也兼顾了输入层的灵活性，这为了能够对输入模态进行自适应感知，设计了一个简单有效的模态感知模块，能够同时进行特征提取、特征交互和模态感知。在多模态跟踪中，每个模态都包含一些与模态无关的信息，例如目标的形状、运动和上下文信息等。这些信息有助于捕捉不同模态之间共享的语义信息，从而协助模型理解目标的整体上下文。此外，承载着每种模态独特的视角和信息的模态特定特征也十分关键，它可以促进模型对整体信息的理解和处理能力。通过充分利用模态无关特征和模态特定特征，可以提高模型对复杂多模态数据的感知和分析水平，实现更准确、鲁棒的任务执行。
-
公开(公告)号：CN115018884B
公开(公告)日：2024-03-15
申请号：CN202210871982.6
申请日：2022-07-19
Applicant: 安徽大学
Abstract: 本发明公开一种基于多策略融合树的可见光红外视觉跟踪方法，所述方法包括：获取可见光图像样本和热红外图像样本；将可见光图像样本和热红外图像样本输入至预先训练好的目标跟踪网络模型，目标跟踪网络模型包括可见光模态适配器、热红外模态适配器、融合树网络和实例适配器，各模态对应的适配器包括多个网络层级；融合树网络当前层级的输出特征与各模态对应的适配器当前层级的输出特征进行矩阵相加融合后传入各模态对应的适配器的下一层级网络中；将各模态对应的适配器最后一层级输出的模态特征图拼接后输入实例适配器，预测目标跟踪结果。本发明引入特殊的多策略融合树结构来实现多种不同融合策略的结合，以在复杂场景中获得稳健融合结果。
-
公开(公告)号：CN110929848B
公开(公告)日：2023-03-31
申请号：CN201911128508.9
申请日：2019-11-18
Applicant: 安徽大学
IPC: G06N3/0464 , G06N3/048 , G06N3/09
Abstract: 本发明涉及基于多挑战感知学习模型的训练及实时跟踪方法，依次包括模型训练过程、通过预先训练的模型进行的跟踪过程两个部分，其中，S11、构建网络模型S12、使用标定好目标的VOT数据集来训练整个所述的网络模型；S21、输入当前跟踪的视频帧，在前一帧预测的目标位置周围用高斯采样获取当前帧的候选样本；S22、获取候选样本的的特征图；S23、将所述特征图输入到分类器模块中，预测目标位置；S24、判断当前帧是否跟踪成功；本发明能够有效的增加特征表达的丰富性，提高了跟踪的鲁棒性，并达到了实时的跟踪性能。
-
-
-
-
-
-
-
-
-
Search Results
16
records
(took 0.014 seconds)
