一种命名实体识别方法、系统、存储介质及终端

    公开(公告)号:CN115906856A

    公开(公告)日:2023-04-04

    申请号:CN202211731362.9

    申请日:2022-12-30

    Inventor: 匡平 杨东升

    Abstract: 本发明公开了一种命名实体识别方法、系统、存储介质及终端,包括使用多种遮蔽方法对句子中单词的令牌token进行遮蔽,并训练BERT‑Convolution模型;将token转换为多种token embedding,并将多种token embedding相加作为BERT‑Convolution模型的输入;使用BERT‑Convolution模型根据上下文对每个token进行词向量编码,其中,对token embedding进行动态卷积并将卷积得到的词向量特征与自注意力机制得到的结果进行拼接;BERT‑Convolution模型输出为N*D的词向量信息,再通过全连接层进行向量变换,输出每个实体标签的分数向量;将分数向量组成的分数矩阵输入到CRF层中,使用Viterbi算法进行解码,找到一条概率最大的实体标签路径。本发明可以提升BERT中Self‑attention机制对局部信息注意力,更准确地提取实体,同时优化了Self‑attention机制中的计算复杂度。

Patent Agency Ranking