公开(公告)号：CN116702091B

公开(公告)日：2024-03-08

申请号：CN202310737347.3

申请日：2023-06-21

Applicant: 中南大学

Inventor： 覃立波 ,  周璟轩 ,  黄仕爵 ,  陈麒光 ,  蔡晨冉 ,  张钰迪 ,  梁斌 ,  车万翔 ,  徐睿峰

IPC: G06F18/25 ,  G06F18/2415 ,  G06F18/2451 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/048 ,  G06N3/084

公开(公告)号：CN116702091A

公开(公告)日：2023-09-05

申请号：CN202310737347.3

申请日：2023-06-21

Applicant: 中南大学

Inventor： 覃立波 ,  周璟轩 ,  黄仕爵 ,  陈麒光 ,  蔡晨冉 ,  张钰迪 ,  梁斌 ,  车万翔 ,  徐睿峰

IPC: G06F18/25 ,  G06F18/2415 ,  G06F18/2451 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明公开了一种基于多视图CLIP的多模态讽刺意图识别方法、装置和设备，方法包括：对数据元组中的文本信息和图像信息均依次编码和解码；其中，采用CLIP模型编码分别得到文本和图像各自的向量表示，解码分别得到基于文本视图和图像视图的讽刺得分分布；将编码得到的文本和图像各自向量表示拼接后，喂入transformer进行模态融合，然后采用key‑less注意力机制确定其注意力权重，再解码得到基于文本与图像交互视图的讽刺得分分布；将基于文本视图、基于图像视图及基于文本与图像交互视图的3个讽刺得分分布进行聚合，并根据聚合结果获得数据元组的讽刺意图识别结果。本发明提升了讽刺意图识别准确率，且有良好的解释性。