一种消除模态差异的跨模态检索方法和系统

    公开(公告)号:CN114764451A

    公开(公告)日:2022-07-19

    申请号:CN202210551524.4

    申请日:2022-05-18

    Abstract: 本发明给出了一种消除模态差异的跨模态检索方法和系统,包括将RGB图像和IR图像随机打乱,选取训练批作为输入;引入中间模态数据,利用中间模态数据结合动态稀疏规范化伪标签策略以增强模型泛化性。本发明提出了一种渐进式的消除模态差异的跨模态目标检索算法,将模型的关注点集中于图像本身,而不是图像对之间的ID关联。紧接着引入中间模态的数据,进一步防止IR图像信息在训练过程中被忽略,中间模态数据集由非条件生成对抗网络生成,并采用动态稀疏规范化伪标签策略来为中间模态数据集生成标签,可用于跨模态人脸检索和行人检索,该方法和系统在跨模态目标检索上有显著的性能提升。

    一种基于指导学习策略的光流估计方法和系统

    公开(公告)号:CN113327265A

    公开(公告)日:2021-08-31

    申请号:CN202110649574.1

    申请日:2021-06-10

    Abstract: 本发明给出了一种基于指导学习策略的光流估计方法和系统,包括将图像分别送入教师网络和学生网络进行特征提取获取对应的特征图;计算学生网络和教师网络所获取的特征图的欧式距离,并使其最小化;利用损失函数最小化学生网络的光流估计值和真实标签值,利用教师网络的解码器的特征指导学生网络的训练。该方法和系统可以获得参数量更小但仍具有良好性能的学生网络,该指导学习策略在多个数据集上都取得具有竞争力的性能,并且在很大程度上对模型进行了压缩。

    一种同源图像检索方法和系统
    15.
    发明公开

    公开(公告)号:CN117112823A

    公开(公告)日:2023-11-24

    申请号:CN202310929283.7

    申请日:2023-07-27

    Abstract: 公开了一种同源图像检索方法和系统,包括将教师网络和学生网络分别分为多个模块,将浅层特征提取模块和深层特征提取模块分别进行损失的约束和知识的蒸馏;在浅层特征上将所述教师网络训练输出的伪标签作为所述学生网络在浅层特征学习后输出的标签,计算软分类交叉熵损失;对深层特征的教师网络和学生网络编码输出进行相似度计算,在总损失函数中加上所述教师网络和所述学生网络的硬分类交叉熵损失,完成启发式的网络轻量化训练。本申请通过学生网络对教师网络的启发式学习,并同时考虑标签层面与特征层面的模型表征能力,约束了深浅不同层次的模型特征学习能力,使学生网络能够取得不低于教师网络的图像表征能力,实现了模型的轻量化。

    一种针对人群活动性质判别的数据增强方法和系统

    公开(公告)号:CN115294529A

    公开(公告)日:2022-11-04

    申请号:CN202210968789.4

    申请日:2022-08-12

    Abstract: 本发明给出了一种针对人群活动性质判别的数据增强方法和系统,包括准备人群活动训练数据集、人群活动性质判别的预训练模型,用以生成热力图;从所述人群活动训练数据集中随机提取一个数据对,使用像素级线性混合增强策略,利用线性组合混合图像与标签;使用区域级仿射拼接增强策略,通过剪切粘贴操作拼接图像,根据面积比混合标签;通过强化类梯度激活可视化策略,提取输出类激活热图,执行图像二次混合增强与标签融合,形成以二次混合图像增强数据集,用以扩充原数据集。本申请有效、针对性地实现相关样本库扩充,其扩充流程与结果都可对人群活动性质判别算法产生明显积极影响。

    一种轻量级的人脸过滤方法和系统

    公开(公告)号:CN114998972A

    公开(公告)日:2022-09-02

    申请号:CN202210759642.4

    申请日:2022-06-29

    Abstract: 本发明给出了一种轻量级的人脸过滤方法和系统,包括制作人脸数据集,人脸数据集包括真实拍摄的人脸图像和网络图片,经过数据清洗分类后以随机分配的方式混入人脸数据集中;构建轻量级人脸过滤的神经网络模型,在主干网络中,通过基于批归一化的缩放因子调节的注意力机制模块,使用批归一化的缩放因子衡量权重,代替全连接层;在网络颈部,在每个特征融合阶段通过上采样或下采样的方式融合所有的图像特征,并且在每一个特征向量前加一个权重参数以充分过滤空间上的冲突信息;损失函数采用类平衡的损失函数CBLoss和FocalLoss相结合。本发明网络设计和训练方式贴近于实际应用,在网络轻量化的同时能够提高人脸多分类的准确度,具有很好的落地效果。

    联合全局和局部信息的层次监督行人再识别方法及系统

    公开(公告)号:CN114863486A

    公开(公告)日:2022-08-05

    申请号:CN202210607692.0

    申请日:2022-05-31

    Abstract: 本发明给出了一种联合全局和局部信息的层次监督行人再识别方法和系统,包括将输入图像切成多个图像小块,将图像小块作为Transformers分支网络的输入;将部分Transformers分支网络的网络快的特征信息通过expand层后引入ResNet50分支网络中对应的残差卷积块,expand层将2D张量拓展为4D张量;将拓展后的4D张量特征信息和对应的残差卷积块进行通道级联;将Transformers分支通过expand层转换后的特征和对应的ResNet50特征经过双线性池化层,进行特征融合交互,并通过损失函数进行约束。本发明提出的方法和系统执行一个单向聚合操作来推动CNN学习全局特征信息的同时,为了能充分利用全局特征信息和局部信息,结合双线性池化来执行层次监督,在跨长时间段的行人重识别数据集上有很显著的性能提升。

    一种基于向量神经元的行人属性识别方法和系统

    公开(公告)号:CN113221796B

    公开(公告)日:2022-07-01

    申请号:CN202110565472.1

    申请日:2021-05-24

    Abstract: 本发明给出了一种基于向量神经元的行人属性识别方法和系统,包括用全尺寸网络OSNet作为行人属性识别的主干网络,其中,全尺寸网络OSNet的卷积层包括点卷积层和深度可分离卷积层;将包括向量神经元的胶囊网络嵌入主干网络中学习不同属性之间的内在联系;将图像依次经过主干网络和胶囊网络识别获取行人属性。该方法和系统在不损失精度的情况下,可将模型参数量变为ResNet50的十分之一,加快识别的运行速度,利用胶囊网络的向量神经元来增加不同属性内在关联,通过不同属性间的内在关联,增加行人属性识别的精度。

Patent Agency Ranking