多光谱目标检测模型训练方法、目标检测方法及系统

    公开(公告)号:CN117911710A

    公开(公告)日:2024-04-19

    申请号:CN202311750746.X

    申请日:2023-12-19

    Abstract: 本发明提供一种多光谱目标检测模型训练方法、目标检测方法及系统,属于基于深度学习的目标检测技术领域。本发明面对恶劣天气等目标可视性差等问题时,在轮廓增强模块实现数据增强的效果,显著提升目标检测的准确性和鲁棒性。加入轻量化融合聚焦模块,将特征细分为高频和低频特征,在保证模型较低计算量的同时,更好地从可见光和红外模态中提取细节信息,将不同空间位置目标的关键信息聚焦到可见光‑红外模态上,利用Transformer的自注意机制对可见光‑红外特征的互补信息进行适当融合。对比度桥模块,利用对比度学习的思想来指导模型提高其在VIS‑IR场景中感知模态不变特征的能力,弥合可见光和红外模态之间的差距,使其适应真实的复杂的可见‑红外场景。

    基于元学习的多模态关系抽取方法及系统

    公开(公告)号:CN119418168A

    公开(公告)日:2025-02-11

    申请号:CN202410952324.9

    申请日:2024-07-16

    Abstract: 本发明提供一种基于元学习的多模态关系抽取方法及系统,属于文本实体识别技术领域,获取待预测的文本图像对;利用预先训练好的关系预测模型对获取的文本图象对进行处理,得到实体之间的多模态关系。本发明提出基于元学习的多模态关系抽取框架,适用于任何基于梯度下降的关系分类模型;通过元学习从头部关系类中学习获得初始参数,然后对尾项特征学习过程中的模型参数进行微调,它利用了从头部数据中学习到的先验知识,实现从易到难的任务学习;增强了尾部类的特征表示,弥合头类和尾类之间的特征差距,提高了关系识别的性能;在稀有类别训练时,动态地提高正梯度的权重并降低负梯度的权重,用于解决尾部数据稀疏问题。

    多模态隐私数据生成模型训练方法、数据生成方法及系统

    公开(公告)号:CN118862144A

    公开(公告)日:2024-10-29

    申请号:CN202410837156.9

    申请日:2024-06-26

    Abstract: 本发明提供一种多模态隐私数据生成模型训练方法、数据生成方法及系统,属于数据隐私保护技术领域,本发明实现了在一个统一框架中生成RGB图像和表格数据,无需使用额外的公开数据和端到端的训练方式,并且各类型数据的生成过程中相互联系,提升了生成数据的语义一致性,能够有效融合不同模态的关键信息实现准确的多模态数据判别;提出多角度判别与多模态匹配损失,多模态判别损失主导GAN模型的训练过程,单模态判别损失用于辅助模型平衡不同模态的学习效率,匹配损失促进模型对模态间关系的学习。为了降低生成模型的隐私泄漏风险,提出将差分隐私机制应用在基于GAN的图像与表格数据联合生成模型上,以平衡合成数据的可用性与隐私性。

    骑行流量及人流量轻量化监控方法及装置

    公开(公告)号:CN118230263A

    公开(公告)日:2024-06-21

    申请号:CN202410111708.8

    申请日:2024-01-26

    Abstract: 本发明提供一种骑行流量及人流量轻量化监控方法及装置,属于基于机器视觉的交通流量监控技术领域,获取慢行交通道路非机动车道视频,进行预处理,得到所需格式的视频图像序列进行标注,输入模型进行训练,得到训练轮次内平均精确度最高的权重文件,用于目标检测和跟踪算法;在检测视频中划分非机动车道区域,检测非机动车道上的机动车辆;利用训练好的模型,对非机动车道行驶的机动车进行识别检测,为每辆车分配唯一的标识;维护一个集合,记录每个标识和对应的数量;根据目标标识和集合,动态更新骑行流量和行人流量数据。本发明通过目标的唯一标识,可以动态更新人流量和骑行流量数据,提供了准确、实时、稳定可靠的慢行交通数据。

Patent Agency Ranking