-
公开(公告)号:CN111738003B
公开(公告)日:2023-06-06
申请号:CN202010541415.5
申请日:2020-06-15
Applicant: 中国科学院计算技术研究所
IPC: G06F40/295 , G06N3/0464 , G06N3/08
Abstract: 本发明实施例提供了命名实体识别模型训练方法、命名实体识别方法和介质,本发明考虑先用源领域标记数据和目标领域未标记数据集对第一训练模型进行训练,基于第一训练模型的参数设置第二训练模型,再用目标领域标记数据集对第二训练模型进行微调,从而得到最终的命名实体识别模型,由此,避免了需要大量标记目标领域的样本用于训练的问题。
-
公开(公告)号:CN111738004B
公开(公告)日:2023-10-27
申请号:CN202010546972.6
申请日:2020-06-16
Applicant: 中国科学院计算技术研究所
IPC: G06F40/295
Abstract: 本发明实施例提供了一种命名实体识别模型的训练方法及命名实体识别的方法,本发明利用训练集训练BERT‑CRF模型得到经本轮训练的命名实体识别模型,然后用经本轮训练的命名实体识别模型标记待识别数据集得到弱标记的待识别数据集,从弱标记的待识别数据集中选择一部分与初始训练集合并作为新的训练数据集继续对命名实体识别模型进行下一轮训练,从而让命名实体识别模型在对待识别数据集进行识别前用待识别数据集对模型进行调整,使其具有更佳的泛化能力,最终提升模型在待识别数据集上的识别效果。
-
公开(公告)号:CN111738004A
公开(公告)日:2020-10-02
申请号:CN202010546972.6
申请日:2020-06-16
Applicant: 中国科学院计算技术研究所
IPC: G06F40/295
Abstract: 本发明实施例提供了一种命名实体识别模型的训练方法及命名实体识别的方法,本发明利用训练集训练BERT-CRF模型得到经本轮训练的命名实体识别模型,然后用经本轮训练的命名实体识别模型标记待识别数据集得到弱标记的待识别数据集,从弱标记的待识别数据集中选择一部分与初始训练集合并作为新的训练数据集继续对命名实体识别模型进行下一轮训练,从而让命名实体识别模型在对待识别数据集进行识别前用待识别数据集对模型进行调整,使其具有更佳的泛化能力,最终提升模型在待识别数据集上的识别效果。
-
公开(公告)号:CN111738003A
公开(公告)日:2020-10-02
申请号:CN202010541415.5
申请日:2020-06-15
Applicant: 中国科学院计算技术研究所
IPC: G06F40/295 , G06N3/04 , G06N3/08
Abstract: 本发明实施例提供了命名实体识别模型训练方法、命名实体识别方法和介质,本发明考虑先用源领域标记数据和目标领域未标记数据集对第一训练模型进行训练,基于第一训练模型的参数设置第二训练模型,再用目标领域标记数据集对第二训练模型进行微调,从而得到最终的命名实体识别模型,由此,避免了需要大量标记目标领域的样本用于训练的问题。
-
-
-