公开(公告)号：CN117611814A

公开(公告)日：2024-02-27

申请号：CN202311562540.4

申请日：2023-11-22

Applicant: 湘潭大学

Inventor： 朱江 ,  成佳妮 ,  李艳春 ,  田淑娟 ,  刘昊霖 ,  李赛斯

IPC: G06V10/26 ,  G06V20/70 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种面向多模态图像语义分割模型的对抗样本生成方法。本发明将所获取的同一场景的可见光图像和A模态图像成对输入到训练好的多模态对抗样本生成网络中得到多模态对抗样本。该多模态对抗样本生成网络包括：生成器网络G，用于生成适用于可见光图像的对抗扰动；判别器网络D，用于区分可见光的原始图像和对抗样本，帮助生成器生成隐蔽性和攻击性更高的对抗样本；转换器网络T，用于将可见光图像的对抗扰动转换为A模态图像的对抗扰动。本发明能够有效的利用可见光和其他模态图像之间的关联性，生成针对多模态图像语义分割模型的多模态对抗样本，在加入较小扰动情况下，有效提升了对多模态图像的攻击成功率。