公开(公告)号：CN113239926A

公开(公告)日：2021-08-10

申请号：CN202110671289.X

申请日：2021-06-17

Applicant: 北京邮电大学

Inventor： 张熙 ,  田恬 ,  张勇东 ,  时金桥 ,  方滨兴

IPC: G06K9/20 ,  G06K9/32 ,  G06K9/46 ,  G06K9/62 ,  G06Q50/00

Abstract: 基于对抗的多模态虚假信息检测模型涉及虚假信息检测技术领域，解决了现有虚假信息伪装则检测器检测常出现错误的问题，该装置包括视觉特征提取模块、多模态预训练模块、协同视觉‑文本多头注意力模块和对抗训练模块；多模态预训练模块用于得到多融合的文本序列特征、视觉序列特征和图文内容特征；协同视觉‑文本多头注意力模块用于得到多模态线索不同层次关系的文本内容特征和视觉内容特征；对抗训练模块用于从文本、视觉和图文角度对抗训练模型以提高鲁棒性。本发明可以捕捉信息数据的多模态线索之间元素级别和模态级别的关系，充分挖掘线索之间的隐藏联系；使得多模态预训练模块能够直接应用于虚假信息检测中。

公开(公告)号：CN113239926B

公开(公告)日：2022-10-25

申请号：CN202110671289.X

申请日：2021-06-17

Applicant: 北京邮电大学

Inventor： 张熙 ,  田恬 ,  张勇东 ,  时金桥 ,  方滨兴

IPC: G06V10/22 ,  G06V20/62 ,  G06V10/40 ,  G06V10/774 ,  G06V10/764 ,  G06K9/62 ,  G06Q50/00

Abstract: 基于对抗的多模态虚假信息检测模型涉及虚假信息检测技术领域，解决了现有虚假信息伪装则检测器检测常出现错误的问题，该装置包括视觉特征提取模块、多模态预训练模块、协同视觉‑文本多头注意力模块和对抗训练模块；多模态预训练模块用于得到多融合的文本序列特征、视觉序列特征和图文内容特征；协同视觉‑文本多头注意力模块用于得到多模态线索不同层次关系的文本内容特征和视觉内容特征；对抗训练模块用于从文本、视觉和图文角度对抗训练模型以提高鲁棒性。本发明可以捕捉信息数据的多模态线索之间元素级别和模态级别的关系，充分挖掘线索之间的隐藏联系；使得多模态预训练模块能够直接应用于虚假信息检测中。