一种基于耦合知识蒸馏的多模态目标跟踪方法和系统

    公开(公告)号:CN118887255A

    公开(公告)日:2024-11-01

    申请号:CN202410997498.7

    申请日:2024-07-24

    Applicant: 安徽大学

    Abstract: 本发明提出一种基于耦合知识蒸馏的多模态目标跟踪方法和系统:包括:耦合知识蒸馏:在两个学生分支的风格特征之间进行风格蒸馏,在具有相同模态输入的教师和学生分支之间执行内容蒸馏,采用实例归一化操作对教师和学生分支的原始特征进行归一化,从而获得与风格特征正交的内容特征,计算两组教师和学生分支的内容特征之间的相似性以进行内容蒸馏;掩码建模:将学生分支的输入图像随机掩去25%的像素,相应教师分支的输入保持不变,让学生分支自行从教师分支的内容特征中学习恢复掩去部分的特征;多模态候选token消除:在每一层中通过组合两种模态的注意力权重协同决策出候选消除的令牌。本发明通过风格蒸馏打破模态差异,同时利用内容蒸馏从教师网络中保持特征内容表示的稳定,以实现高性能的多模态跟踪。

    医学报告的生成方法、模型训练方法、系统、设备及介质

    公开(公告)号:CN118398155B

    公开(公告)日:2024-10-11

    申请号:CN202410842743.7

    申请日:2024-06-27

    Applicant: 安徽大学

    Abstract: 本发明提供一种医学报告的生成方法、模型训练方法、系统、设备及介质。训练方法包括:获取综合医学影像集和对应的医学报告集及医学概念集;将综合医学影像集输入特征提取网络,提取空域视觉特征集和频域视觉特征集;将空域视觉特征集和空域平均视觉特征、频域视觉特征集和频域平均视觉特征输入增强融合网络,获得空频域结合特征集;将空频域结合特征集输入概念预测网络,生成预测医学概念集;将预测医学概念集和空频域结合特征集输入报告预测网络,生成预测医学报告集;根据预测医学报告集和医学报告集的差异度、预测医学概念集和医学概念集的差异度,更新医学报告生成模型的参数,得到训练好的医学报告生成模型。提升了生成的医学报告的质量。

    一种基于两阶段融合结构搜索的RGBT视觉跟踪方法及系统

    公开(公告)号:CN113837296B

    公开(公告)日:2024-05-31

    申请号:CN202111144930.0

    申请日:2021-09-28

    Applicant: 安徽大学

    Abstract: 一种基于两阶段融合结构搜索的RGBT视觉跟踪方法及系统,属于计算机视觉技术领域,解决如何为基于鲁棒实例表示的RGBT跟踪找到最佳的融合网络结构,从而进一步提高跟踪性能的问题,本发明的技术方案在离线搜索阶段,为了提取对光照变化、运动模糊和尺度变化等各种挑战具有鲁棒性的共享特征表示,引入了多域学习框架来离线搜索通用融合空间中的融合网络结构。在线跟踪阶段,从实例感知的融合空间中,在线搜索每个视频序列的融合结构以应对特定于实例的挑战;这种两阶段搜索算法可以动态更新视频融合策略,从而为基于鲁棒实例表示的RGBT跟踪找到合适的融合网络结构,进一步提高跟踪性能。

    诊断报告的生成方法、模型训练方法、系统、设备及介质

    公开(公告)号:CN117393100B

    公开(公告)日:2024-04-05

    申请号:CN202311688317.4

    申请日:2023-12-11

    Applicant: 安徽大学

    Abstract: 本发明提供一种诊断报告的生成方法、模型训练方法、系统、设备及介质。训练方法包括:获取含病变标签和诊断报告的第一类医学影像图片、含病变标签标注的第二类医学影像图片、不含病变标签标注的第三类医学影像图片;根据学生模型生成三类医学影像图片对应的第一预测诊断报告、第二预测诊断报告和第三预测诊断报告;根据教师模型生成第三类医学影像图片的第四预测诊断报告;根据文本分类模型生成第一预测诊断报告和第二预测诊断报告的预测病变标签;基于预测病变标签和病变标签、第二预测诊断报告和诊断报告、第三预测诊断报告的第四预测诊断报告,更新学生模型和教师模型的参数,将训练好的学生模型作为诊断报告生成模型。提高了模型的准确率。

    基于自引导和部件自适应融合的多查询车辆重识别方法

    公开(公告)号:CN117523357A

    公开(公告)日:2024-02-06

    申请号:CN202311513284.X

    申请日:2023-11-14

    Applicant: 安徽大学

    Abstract: 本发明公开一种基于自引导和部件自适应融合的多查询网络,获取车辆的图片数据集,构建基于自引导和部件自适应融合的多查询网络,使用基线车辆图片的原始特征,自引导更新模块为每组多个查询更新原始特征,自适应融合模块将更新特征自适应进行融合,通过重识别损失约束单部件融合特征和单部件更新特征,对基于自引导和部件自适应融合的多查询网络上进行训练和验证,再将训练所得最好的基于自引导和部件自适应融合的多查询网络在测试集上进行测试。发明的自引导更新模块利用同一组内多个查询的集体信息来指导单个查询,自适应融合模块能够自适应地融合来自不同查询的相同部分的有效信息;可更细粒度地处理每张照片的信息,增强特征表示并提高辨别能力。

    一种基于循环一致性的强光下多光谱车辆重识别方法

    公开(公告)号:CN117115630A

    公开(公告)日:2023-11-24

    申请号:CN202311117117.3

    申请日:2023-08-30

    Applicant: 安徽大学

    Abstract: 一种基于循环一致性的强光下多光谱车辆重识别方法,属于车辆重识别技术领域,解决解决强光下的车辆重识别问题;本发明对光谱图像进行数据预处理,提取光谱对应的高维特征,采用强光标签预测器对受到强光污染的图像标记强光伪标签;利用去光斑生成器将强光污染的热红外光谱和受损的光谱融合成去光斑的光谱,以替换受损的光谱;利用强光标签预测器获取的伪标签训练一个图像质量预测器,设计强光感知的交互融合模块,根据图像质量动态调节特征融合过程进行特征级融合;对多光谱进行了图像级融合,并提出了有效的图像级融合框架,使用强光感知的预测模块来自适应调节多分支特征之间的关系,以增强强光不变的有效特征并抑制易受强光干扰的无效特征。

    一种全景图像高精度修复的处理方法以及系统

    公开(公告)号:CN116433536A

    公开(公告)日:2023-07-14

    申请号:CN202310692966.5

    申请日:2023-06-13

    Applicant: 安徽大学

    Abstract: 本发明提供一种全景图像高精度修复的处理方法,包括:获取全景图像;对所述全景图像依次进行掩膜分割处理、待修复裁剪处理,生成待修复区域图像;对所述全景图像中的所有像素进行分类标记处理,生成分类像素数据集;对窄边边界像素数据集进行邻域像素选取处理,生成窄边邻域像素数据集;对待修复像素以及邻域像素数据集分别依次进行权值函数处理,分别对应生成多个待修复像素灰度值以及多个邻域像素灰度值;以及对所述待修复区域图像进行修复填充处理,生成目标全景图像。通过本发明公开的一种全景图像高精度修复的处理方法以及系统,能够提升全景图像的修复精度,提高全景图像的利用率。

    一种基于位置注意力的车牌识别方法

    公开(公告)号:CN115965956A

    公开(公告)日:2023-04-14

    申请号:CN202211283052.5

    申请日:2022-10-20

    Applicant: 安徽大学

    Abstract: 本发明提供了一种基于位置注意力的车牌识别方法,属于车牌识别技术领域,包括:将车牌图像输入到卷积神经网络中提取特征得到特征T,使用自适应平均池化将特征T转换成特定大小的第一特征序列T1;将T1降维后得到第二特征序列z;为每个字符位置计算生成一个注意力图αij,将位置注意力图αij与第二特征序列z进行高维矩阵乘得到最终的图片特征ci,将ci经过一个神经网络进行多类别分类操作,得到车牌识别结果。该方法可以高效对车牌字符进行识别。

Patent Agency Ranking