公开(公告)号：CN113919358A

公开(公告)日：2022-01-11

申请号：CN202111294527.6

申请日：2021-11-03

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 蒋卓 ,  晁正英 ,  李文瑞 ,  赵伟 ,  陈诚 ,  赵建强

IPC: G06F40/295 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明给出了一种基于主动学习的命名实体识别方法和系统，包括获取待训练文本数据，对部分待训练文本数据进行标注；对每条文本进行预训练获得字符向量矩阵，将其中的字符向量输入双向LSTM进行训练，获得输入文本的语义信息特征；利用自注意力机制获取每条文本中字之间的相互关系，并将结果输出至条件随机场，计算输入字对应的最优标签序列，以最大概率的序列作为字的最终实体类别标签，获取标注文本数据的训练模型；利用训练模型对未标注文本数据进行预测，确定该条文本的置信度值，响应于一文本的置信度大于预设阈值，将该条文本作为待标注数据集进行标注，并循环上述步骤。本发明可实现更准确高效地标记数据以达到应用需求性能。