公开(公告)号：CN113312452A

公开(公告)日：2021-08-27

申请号：CN202110667388.0

申请日：2021-06-16

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  夏名宏 ,  朱聪慧 ,  徐冰 ,  杨沐昀 ,  曹海龙

IPC: G06F16/33 ,  G06F16/35 ,  G06F40/211 ,  G06F40/289 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出基于多任务学习的篇章级文本连贯性分类方法，所述方法包括：步骤1、使用预训练模型得到篇章级文本中每一句话的句子向量表示；步骤2、将句子向量作为输入，使用Transformer模型，得到篇章级文本的整体向量表示；步骤3、构建句子排序任务，使用该任务对篇章级文本的整体向量表示进行调整；步骤4、根据调整后的篇章级文本整体向量表示通过分类器得到文本连贯性分类。通过上述方法解决了现有技术中的问题，所述方法对信息检索以及自然语言处理中的多任务学习、作文自动评分、文档向量化等方向有着重要作用。

公开(公告)号：CN115114436A

公开(公告)日：2022-09-27

申请号：CN202210688843.X

申请日：2022-06-17

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  朱聪慧 ,  夏名宏 ,  曹海龙 ,  徐冰 ,  杨沐昀

IPC: G06F16/35 ,  G06F16/33 ,  G06F40/30 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开融合段落信息的篇章级文本连贯性分类方法，属于自然语言处理技术领域，解决现有方法得到的篇章向量普遍缺少上下文信息并且普遍忽略了篇章的段落结构信息的问题。本发明的方法包括：对篇章级文本进行分句，获取篇章级文本的句子；利用XLNet预训练模型，根据篇章级文本的句子，获取句向量；根据段落的关系，构建篇章级文本的篇章结构矩阵；利用篇章结构矩阵，对Tree‑Transformer构建模型进行初始化；利用初始化后的Tree‑Transformer构建模型，对句向量进行更新；根据更新后的句向量，获取篇章级文本的篇章级语义向量表示；将篇章级语义向量表示输入分类层，获取篇章级语义连贯性分类结果。本发明对信息检索和自然语言处理中的多任务学习、文档向量化等方向有重要作用。

公开(公告)号：CN113312452B

公开(公告)日：2022-05-27

申请号：CN202110667388.0

申请日：2021-06-16

Applicant: 哈尔滨工业大学

Inventor： 赵铁军 ,  夏名宏 ,  朱聪慧 ,  徐冰 ,  杨沐昀 ,  曹海龙

IPC: G06F16/33 ,  G06F16/35 ,  G06F40/211 ,  G06F40/289 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出基于多任务学习的篇章级文本连贯性分类方法，所述方法包括：步骤1、使用预训练模型得到篇章级文本中每一句话的句子向量表示；步骤2、将句子向量作为输入，使用Transformer模型，得到篇章级文本的整体向量表示；步骤3、构建句子排序任务，使用该任务对篇章级文本的整体向量表示进行调整；步骤4、根据调整后的篇章级文本整体向量表示通过分类器得到文本连贯性分类。通过上述方法解决了现有技术中的问题，所述方法对信息检索以及自然语言处理中的多任务学习、作文自动评分、文档向量化等方向有着重要作用。