公开(公告)号：CN117422118B

公开(公告)日：2024-07-16

申请号：CN202311542337.0

申请日：2023-11-17

Applicant: 中南大学

Inventor： 覃立波 ,  李勤政 ,  黄仕爵 ,  陈麒光 ,  刘乾 ,  车万翔 ,  徐睿峰

IPC: G06N3/08 ,  G06N3/0455 ,  G06N5/04

Abstract: 本发明公开了一种面向任务型对话中一致性识别的模块化预训练方法、系统及介质，其中方法包括：选取预训练的骨干网络；获取预训练数据构建查询响应匹配任务数据集、对话历史一致性识别任务数据集、基于知识库的掩码建模任务数据集；基于查询响应匹配任务数据集，对骨干网络进行查询响应一致性识别预训练；进而基于对话历史一致性识别任务数据集，对骨干网络进行对话历史一致性识别预训练；进而通过基于知识库的掩码建模任务数据集，对骨干网络进行基于知识库的一致性识别预训练。三种预训练后，模型可进行面向任务型对话中的一致性识别。解决了预训练因训练目标及训练数据的一般性而导致的难以针对上下文理解和知识库推理能力进行训练的问题。

公开(公告)号：CN117422118A

公开(公告)日：2024-01-19

申请号：CN202311542337.0

申请日：2023-11-17

Applicant: 中南大学

Inventor： 覃立波 ,  李勤政 ,  黄仕爵 ,  陈麒光 ,  刘乾 ,  车万翔 ,  徐睿峰

IPC: G06N3/08 ,  G06N3/0455 ,  G06N5/04

Abstract: 本发明公开了一种面向任务型对话中一致性识别的模块化预训练方法、系统及介质，其中方法包括：选取预训练的骨干网络；获取预训练数据构建查询响应匹配任务数据集、对话历史一致性识别任务数据集、基于知识库的掩码建模任务数据集；基于查询响应匹配任务数据集，对骨干网络进行查询响应一致性识别预训练；进而基于对话历史一致性识别任务数据集，对骨干网络进行对话历史一致性识别预训练；进而通过基于知识库的掩码建模任务数据集，对骨干网络进行基于知识库的一致性识别预训练。三种预训练后，模型可进行面向任务型对话中的一致性识别。解决了预训练因训练目标及训练数据的一般性而导致的难以针对上下文理解和知识库推理能力进行训练的问题。

公开(公告)号：CN116702091B

公开(公告)日：2024-03-08

申请号：CN202310737347.3

申请日：2023-06-21

Applicant: 中南大学

Inventor： 覃立波 ,  周璟轩 ,  黄仕爵 ,  陈麒光 ,  蔡晨冉 ,  张钰迪 ,  梁斌 ,  车万翔 ,  徐睿峰

IPC: G06F18/25 ,  G06F18/2415 ,  G06F18/2451 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/048 ,  G06N3/084

公开(公告)号：CN116702091A

公开(公告)日：2023-09-05

申请号：CN202310737347.3

申请日：2023-06-21

Applicant: 中南大学

Inventor： 覃立波 ,  周璟轩 ,  黄仕爵 ,  陈麒光 ,  蔡晨冉 ,  张钰迪 ,  梁斌 ,  车万翔 ,  徐睿峰

IPC: G06F18/25 ,  G06F18/2415 ,  G06F18/2451 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明公开了一种基于多视图CLIP的多模态讽刺意图识别方法、装置和设备，方法包括：对数据元组中的文本信息和图像信息均依次编码和解码；其中，采用CLIP模型编码分别得到文本和图像各自的向量表示，解码分别得到基于文本视图和图像视图的讽刺得分分布；将编码得到的文本和图像各自向量表示拼接后，喂入transformer进行模态融合，然后采用key‑less注意力机制确定其注意力权重，再解码得到基于文本与图像交互视图的讽刺得分分布；将基于文本视图、基于图像视图及基于文本与图像交互视图的3个讽刺得分分布进行聚合，并根据聚合结果获得数据元组的讽刺意图识别结果。本发明提升了讽刺意图识别准确率，且有良好的解释性。