公开(公告)号：CN116702091A

公开(公告)日：2023-09-05

申请号：CN202310737347.3

申请日：2023-06-21

Applicant: 中南大学

Inventor： 覃立波 ,  周璟轩 ,  黄仕爵 ,  陈麒光 ,  蔡晨冉 ,  张钰迪 ,  梁斌 ,  车万翔 ,  徐睿峰

IPC: G06F18/25 ,  G06F18/2415 ,  G06F18/2451 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明公开了一种基于多视图CLIP的多模态讽刺意图识别方法、装置和设备，方法包括：对数据元组中的文本信息和图像信息均依次编码和解码；其中，采用CLIP模型编码分别得到文本和图像各自的向量表示，解码分别得到基于文本视图和图像视图的讽刺得分分布；将编码得到的文本和图像各自向量表示拼接后，喂入transformer进行模态融合，然后采用key‑less注意力机制确定其注意力权重，再解码得到基于文本与图像交互视图的讽刺得分分布；将基于文本视图、基于图像视图及基于文本与图像交互视图的3个讽刺得分分布进行聚合，并根据聚合结果获得数据元组的讽刺意图识别结果。本发明提升了讽刺意图识别准确率，且有良好的解释性。

公开(公告)号：CN116628160A

公开(公告)日：2023-08-22

申请号：CN202310589810.4

申请日：2023-05-24

Applicant: 中南大学

Inventor： 覃立波 ,  鹿纯林 ,  黎州扬 ,  禹棋赢 ,  王乐涵 ,  车万翔

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/28

Abstract: 本发明公开了一种基于多知识库的任务型对话方法、系统及介质，其中方法包括：获取用户对话历史信息，并进行预处理；对预处理后的对话历史信息转化为三元组向量序列；通过自注意编码器对三元组向量序列进行编码生成最终对话历史；利用异构图网络来建模不同知识库之间的推理过程。利用编码生成的最终对话历史表示初始化解码器，解码器利用草稿模型生成最终的对话响应中的常用词和知识实体。解决了现有的基于单个知识库的任务型对话系统无法满足现实世界中一些复杂场景对对话系统的要求问题。