公开(公告)号：CN112926323A

公开(公告)日：2021-06-08

申请号：CN202110102206.5

申请日：2021-01-26

Applicant: 江南大学

Inventor： 孔军 ,  张磊鑫 ,  蒋敏

IPC: G06F40/295 ,  G06F40/30 ,  G06N3/08 ,  G06N7/00

Abstract: 基于多级残差卷积与注意力机制的中文命名实体识别方法，属于自然语言处理领域。该方法采用联合注意力机制的多级残差卷积网络。针对传统循环神经网络处理序列信息时模型效率低下的问题，本发明引入多级残差卷积，以获得不同范围内的局部上下文信息，并充分利用硬件的计算能力，显著提高模型效率。此外，循环神经网络由于梯度消失和梯度爆炸问题，无法有效地获取全局上下文信息，极大地影响网络的性能。本发明在网络中引入注意力机制，通过构建每个字符与句子之间的关系，计算出每个字符的重要性权重，从而学习全局信息。最终本发明利用条件随机场对字符标签的转移概率进行计算以获得合理的预测结果，进一步提高了命名实体识别模型的鲁棒性。

公开(公告)号：CN112926323B

公开(公告)日：2024-02-02

申请号：CN202110102206.5

申请日：2021-01-26

Applicant: 江南大学

Inventor： 孔军 ,  张磊鑫 ,  蒋敏

IPC: G06F40/295 ,  G06F40/30 ,  G06N3/0464 ,  G06N3/08 ,  G06N7/01

Abstract: 基于多级残差卷积与注意力机制的中文命名实体识别方法，属于自然语言处理领域。该方法采用联合注意力机制的多级残差卷积网络。针对传统循环神经网络处理序列信息时模型效率低下的问题，本发明引入多级残差卷积，以获得不同范围内的局部上下文信息，并充分利用硬件的计算能力，显著提高模型效率。此外，循环神经网络由于梯度消失和梯度爆炸问题，无法有效地获取全局上下文信息，极大地影响网络的性能。本发明在网络中引入注意力机制，通过构建每个字符与句子之间的关系，计算出每个字符的重要性权重，从而学习全局信息。最终本发明利用条件随机场对字符标签的转移概率进行计算以获得合理的预测结果，进一步提高了命名实体识别(56)对比文件Zhiwei Yang等.Attention-based Multi-level Feature Fusion for Named EntityRecognition.Proceedings of the Twenty-Ninth International Joint Conference onArtificial Intelligence (IJCAI-20).2020,全文.Zhichang Zhang等.Attention-based deepresidual learning network for entityrelation extraction in Chinese EMRs.4thChina Health Information ProcessingConference.2020,全文.