公开(公告)号：CN118916683B

公开(公告)日：2025-02-14

申请号：CN202411389473.5

申请日：2024-10-08

Applicant: 吉林大学

Inventor： 徐昊 ,  刘一鸣 ,  石立达 ,  宋瑞 ,  高玲 ,  常诚

IPC: G06F18/213 ,  G06F18/214 ,  G06F18/24 ,  G06N3/042 ,  G06N3/0985 ,  G06F18/25

Abstract: 本发明属于人工智能的多模态讽刺检测技术领域，具体涉及一种基于联合注意力和图学习增强的多模态讽刺检测方法，包括：提取图像文本对的初始图像特征和初始文本特征；对所述初始图像特征和初始文本特征进行联合交叉注意力学习处理，获取联合注意力的图像特征和联合注意力的文本特征；利用图学习对所述联合注意力的文本特征进行增强；将增强后的文本特征和联合注意力的图像特征进行结合，利用结合后的特征预测讽刺倾向。本发明利用联合注意力机制以同时捕捉模态内与模态间的语义不一致性，利用图学习的方式使单模态内捕捉到的内在联系更好地融入到多模态信息当中，以解决多模态讽刺检测任务中的模态间讽刺信息不一致问题。

公开(公告)号：CN118916683A

公开(公告)日：2024-11-08

申请号：CN202411389473.5

申请日：2024-10-08

Applicant: 吉林大学

Inventor： 徐昊 ,  刘一鸣 ,  石立达 ,  宋瑞 ,  高玲 ,  常诚

IPC: G06F18/213 ,  G06F18/214 ,  G06F18/24 ,  G06N3/042 ,  G06N3/0985 ,  G06F18/25

Abstract: 本发明属于人工智能的多模态讽刺检测技术领域，具体涉及一种基于联合注意力和图学习增强的多模态讽刺检测方法，包括：提取图像文本对的初始图像特征和初始文本特征；对所述初始图像特征和初始文本特征进行联合交叉注意力学习处理，获取联合注意力的图像特征和联合注意力的文本特征；利用图学习对所述联合注意力的文本特征进行增强；将增强后的文本特征和联合注意力的图像特征进行结合，利用结合后的特征预测讽刺倾向。本发明利用联合注意力机制以同时捕捉模态内与模态间的语义不一致性，利用图学习的方式使单模态内捕捉到的内在联系更好地融入到多模态信息当中，以解决多模态讽刺检测任务中的模态间讽刺信息不一致问题。