公开(公告)号：CN117422118B

公开(公告)日：2024-07-16

申请号：CN202311542337.0

申请日：2023-11-17

Applicant: 中南大学

Inventor： 覃立波 ,  李勤政 ,  黄仕爵 ,  陈麒光 ,  刘乾 ,  车万翔 ,  徐睿峰

IPC: G06N3/08 ,  G06N3/0455 ,  G06N5/04

Abstract: 本发明公开了一种面向任务型对话中一致性识别的模块化预训练方法、系统及介质，其中方法包括：选取预训练的骨干网络；获取预训练数据构建查询响应匹配任务数据集、对话历史一致性识别任务数据集、基于知识库的掩码建模任务数据集；基于查询响应匹配任务数据集，对骨干网络进行查询响应一致性识别预训练；进而基于对话历史一致性识别任务数据集，对骨干网络进行对话历史一致性识别预训练；进而通过基于知识库的掩码建模任务数据集，对骨干网络进行基于知识库的一致性识别预训练。三种预训练后，模型可进行面向任务型对话中的一致性识别。解决了预训练因训练目标及训练数据的一般性而导致的难以针对上下文理解和知识库推理能力进行训练的问题。

公开(公告)号：CN117422118A

公开(公告)日：2024-01-19

申请号：CN202311542337.0

申请日：2023-11-17

Applicant: 中南大学

Inventor： 覃立波 ,  李勤政 ,  黄仕爵 ,  陈麒光 ,  刘乾 ,  车万翔 ,  徐睿峰

IPC: G06N3/08 ,  G06N3/0455 ,  G06N5/04

Abstract: 本发明公开了一种面向任务型对话中一致性识别的模块化预训练方法、系统及介质，其中方法包括：选取预训练的骨干网络；获取预训练数据构建查询响应匹配任务数据集、对话历史一致性识别任务数据集、基于知识库的掩码建模任务数据集；基于查询响应匹配任务数据集，对骨干网络进行查询响应一致性识别预训练；进而基于对话历史一致性识别任务数据集，对骨干网络进行对话历史一致性识别预训练；进而通过基于知识库的掩码建模任务数据集，对骨干网络进行基于知识库的一致性识别预训练。三种预训练后，模型可进行面向任务型对话中的一致性识别。解决了预训练因训练目标及训练数据的一般性而导致的难以针对上下文理解和知识库推理能力进行训练的问题。