公开(公告)号：CN113312454A

公开(公告)日：2021-08-27

申请号：CN202110670949.2

申请日：2021-06-17

Applicant: 辽宁大学

Inventor： 陈廷伟 ,  侯昊辰 ,  刘欣月 ,  胡玥

IPC: G06F16/33 ,  G06F40/279 ,  G06K9/62

Abstract: 一种基于自监督的三阶段故事阅读理解训练方法，包括以下步骤：1)使用语言模型在开放域语料库上进行预训练；2)采用语言模型LM或者掩码语言模型MLM的自我监督学习目标继续在无监督、同领域的ROCStories日常故事语料上进行预训练；3)对目标SCT任务上的结果模型进行训练。本发明引入在ROCStories故事无监督语料上的预训练步骤，提高了预训练语言模型在故事完形填空SCT任务的准确率。

公开(公告)号：CN113312454B

公开(公告)日：2024-07-02

申请号：CN202110670949.2

申请日：2021-06-17

Applicant: 辽宁大学

Inventor： 陈廷伟 ,  侯昊辰 ,  刘欣月 ,  胡玥

IPC: G06F16/33 ,  G06F40/279 ,  G06F18/214

Abstract: 一种基于自监督的三阶段故事阅读理解训练方法，包括以下步骤：1)使用语言模型在开放域语料库上进行预训练；2)采用语言模型LM或者掩码语言模型MLM的自我监督学习目标继续在无监督、同领域的ROCStories日常故事语料上进行预训练；3)对目标SCT任务上的结果模型进行训练。本发明引入在ROCStories故事无监督语料上的预训练步骤，提高了预训练语言模型在故事完形填空SCT任务的准确率。