多模态融合模型的对抗样本生成方法及装置

    公开(公告)号:CN119399593A

    公开(公告)日:2025-02-07

    申请号:CN202411229248.5

    申请日:2024-09-03

    Abstract: 本发明提供一种多模态融合模型的对抗样本生成方法及装置,所述方法包括:获取多模态图像,将多模态图像输入至多模态融合模型得到初始融合图像,多模态图像包括多张单模态图像;基于多模态图像确定多个初始对抗样本;将各所述初始对抗样本注入各所述单模态图像中得到各单模态扰动图像,基于各所述单模态扰动图像以及各单模态图像通过多模态融合模型得到各单模态扰动图像对应的半扰动融合图像,基于各半扰动融合图像以及初始融合图像确定各所述单模态图像对应的最优初始对抗样本;基于各最优初始对抗样本生成多个子对抗样本,从多个子对抗样本中确定所述多模态融合模型的最优对抗样本。本发明能够提高多模态融合模型在对抗攻击中的鲁棒性和安全性。

    基于层级图交互和单元聚类的伪装目标检测方法和系统

    公开(公告)号:CN119206168A

    公开(公告)日:2024-12-27

    申请号:CN202411219639.9

    申请日:2024-09-02

    Abstract: 本发明提供一种基于层级图交互和单元聚类的伪装目标检测方法和系统,该方法包括:获取待检测图像,将其通过单元划分和线性变换转化为设定数量的特征图单元,将所有特征图单元输入到多个连续的区域感知单元聚焦注意力模块,利用聚类算法基于自注意力机制的相似度去除冗余,对筛选后的特征图单元进行自注意力机制计算,输出第一层级特征图。将相邻区域感知单元聚焦注意力模块输出的第一层级特征图成对输入层级图交互自注意力模块,转换为图结构后进行层级特征交互,将交互后的图结构投影回原始空间输出第二层级特征图。将第二层级特征图输入置信度聚合特征融合解码器,细化歧义区域并融合所有第二层级特征图,输出伪装目标。本发明能提高检测精度。

Patent Agency Ranking