公开(公告)号：CN118013971A

公开(公告)日：2024-05-10

申请号：CN202410019226.X

申请日：2024-01-05

Applicant: 三峡大学

Inventor： 王春亮 ,  余肖生 ,  姚洁仪

IPC: G06F40/295 ,  G06F18/214 ,  G06F16/35 ,  G06N3/0464 ,  G06N3/0499

Abstract: 一种融合TextCNN与Talking Heads Attention的关系抽取方法，包括以下步骤：步骤1：获取中文文本的训练语料数据；步骤2：获取语言模型的训练语料数据并进行预处理；步骤3：将编码后的文本输入MacBERT模型，通过BERT的输入层得到每个词的词向量表示；步骤4：标注语料输入到Talking Heads Attention结构中进行特征提取；步骤5：将MacBERT获得的词向量输入到TextCNN结构中，利用预训练模型的优势，减少模型训练的复杂度和时间成本；步骤6：将步骤4输出的特征与步骤5输出的特征进行特征交互；步骤7：通过前馈神经网络层输出实体关系三元组；通过以上步骤对中文文本进行关系抽取。

公开(公告)号：CN117807996A

公开(公告)日：2024-04-02

申请号：CN202311539262.0

申请日：2023-11-17

Applicant: 三峡大学

Inventor： 王春亮 ,  余肖生

IPC: G06F40/295 ,  G06F40/284 ,  G06F40/30 ,  G06F16/36 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/094 ,  G06N3/084

Abstract: 融合MacBERT与对抗训练的中文文本关系抽取方法，本发明使用预训练MacBERT作为神经网络模型嵌入层，使用动态词向量对关系抽取语料进行编码，弥补了word2wec在解决多义词问题上的不足；通过对抗训练生成扰动将生成的字向量与扰动相加生成对抗样本；基于BiGRU更好地处理序列化的能力，改善了单个神经网络模型特征提取不足的问题；通过全局指针网络解码层得到最终的预测结果。