公开(公告)号：CN113761936B

公开(公告)日：2023-04-07

申请号：CN202110953670.5

申请日：2021-08-19

Applicant: 哈尔滨工业大学(威海) ,  长江时代通信股份有限公司

Inventor： 丁建睿 ,  吴明瑞 ,  丁卓 ,  张立斌

IPC: G06F40/30 ,  G06F16/35 ,  G06F40/117 ,  G06N3/047 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提供一种基于多头自注意力机制的多任务篇章级事件抽取方法，包括如下步骤：将单一句子级事件抽取转换为打包句子集合的篇章级事件抽取；利用预训练的语言模型BERT模型进行词嵌入表示；对单句中所有单词嵌入和位置嵌入作为输入，利用卷积神经网络模型进行编码，结合分段最大池策略捕获句子内部的最有价值的特征；利用多头自注意力模型，获得融合全文语义信息的篇章表示和注意力权重；利用分类器得到预测的事件类型；利用事件类型作为先验信息，链接到事件元素提取的输入序列中，利用预训练模型结合机器阅读理解方法提取序列中所有相关元素。本发明可用于篇章级事件抽取任务，实现了将序列标注问题转换为机器阅读理解问题的突破。

公开(公告)号：CN113761936A

公开(公告)日：2021-12-07

申请号：CN202110953670.5

申请日：2021-08-19

Applicant: 哈尔滨工业大学(威海) ,  长江时代通信股份有限公司

Inventor： 丁建睿 ,  吴明瑞 ,  丁卓 ,  张立斌

IPC: G06F40/30 ,  G06F16/35 ,  G06F40/117 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于多头自注意力机制的多任务篇章级事件抽取方法，包括如下步骤：将单一句子级事件抽取转换为打包句子集合的篇章级事件抽取；利用预训练的语言模型BERT模型进行词嵌入表示；对单句中所有单词嵌入和位置嵌入作为输入，利用卷积神经网络模型进行编码，结合分段最大池策略捕获句子内部的最有价值的特征；利用多头自注意力模型，获得融合全文语义信息的篇章表示和注意力权重；利用分类器得到预测的事件类型；利用事件类型作为先验信息，链接到事件元素提取的输入序列中，利用预训练模型结合机器阅读理解方法提取序列中所有相关元素。本发明可用于篇章级事件抽取任务，实现了将序列标注问题转换为机器阅读理解问题的突破。