公开(公告)号：CN113626560B

公开(公告)日：2024-05-07

申请号：CN202110885428.9

申请日：2021-08-03

Applicant: 辽宁大学

Inventor： 陈廷伟 ,  侯昊辰 ,  魏家富 ,  胡玥

IPC: G06F16/33 ,  G06F40/279 ,  G06F40/35 ,  G06F18/214 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/092

Abstract: 一种基于强化学习的多样性对话数据增强方法，包括以下步骤：1)给定输入的对话历史，收集相同对话历史下不同语义或者不同表达的回复的集合，这两个集合被用于生成对话回复的语义和表达隐含空间，从这两个隐含空间分别采样，结合对话历史编码信息生成最终的回复；2)使用两个独特的判别器，对生成的句子的语义和表达的多样性进行判别，保证生成的回复在语义和表达的多样性；3)不断循环训练模型，最终得到高质量的多样性对话样本，达到数据增强的目的。本发明通过上述方法，提供了一种保证对话历史一致性同时又从表达和语义上增强对话样本的多样性的基于强化学习的多样性对话数据增强方法。

公开(公告)号：CN113312454B

公开(公告)日：2024-07-02

申请号：CN202110670949.2

申请日：2021-06-17

Applicant: 辽宁大学

Inventor： 陈廷伟 ,  侯昊辰 ,  刘欣月 ,  胡玥

IPC: G06F16/33 ,  G06F40/279 ,  G06F18/214

Abstract: 一种基于自监督的三阶段故事阅读理解训练方法，包括以下步骤：1)使用语言模型在开放域语料库上进行预训练；2)采用语言模型LM或者掩码语言模型MLM的自我监督学习目标继续在无监督、同领域的ROCStories日常故事语料上进行预训练；3)对目标SCT任务上的结果模型进行训练。本发明引入在ROCStories故事无监督语料上的预训练步骤，提高了预训练语言模型在故事完形填空SCT任务的准确率。

公开(公告)号：CN113626560A

公开(公告)日：2021-11-09

申请号：CN202110885428.9

申请日：2021-08-03

Applicant: 辽宁大学

Inventor： 陈廷伟 ,  侯昊辰 ,  魏家富 ,  胡玥

IPC: G06F16/33 ,  G06F40/279 ,  G06F40/35 ,  G06K9/62

Abstract: 一种基于强化学习的多样性对话数据增强方法，包括以下步骤：1)给定输入的对话历史，收集相同对话历史下不同语义或者不同表达的回复的集合，这两个集合被用于生成对话回复的语义和表达隐含空间，从这两个隐含空间分别采样，结合对话历史编码信息生成最终的回复；2)使用两个独特的判别器，对生成的句子的语义和表达的多样性进行判别，保证生成的回复在语义和表达的多样性；3)不断循环训练模型，最终得到高质量的多样性对话样本，达到数据增强的目的。本发明通过上述方法，提供了一种保证对话历史一致性同时又从表达和语义上增强对话样本的多样性的基于强化学习的多样性对话数据增强方法。

公开(公告)号：CN113312454A

公开(公告)日：2021-08-27

申请号：CN202110670949.2

申请日：2021-06-17

Applicant: 辽宁大学

Inventor： 陈廷伟 ,  侯昊辰 ,  刘欣月 ,  胡玥

IPC: G06F16/33 ,  G06F40/279 ,  G06K9/62

Abstract: 一种基于自监督的三阶段故事阅读理解训练方法，包括以下步骤：1)使用语言模型在开放域语料库上进行预训练；2)采用语言模型LM或者掩码语言模型MLM的自我监督学习目标继续在无监督、同领域的ROCStories日常故事语料上进行预训练；3)对目标SCT任务上的结果模型进行训练。本发明引入在ROCStories故事无监督语料上的预训练步骤，提高了预训练语言模型在故事完形填空SCT任务的准确率。