一种融合局部上下文信息并利用标签语义进行命名实体识别的方法

    公开(公告)号:CN117852540A

    公开(公告)日:2024-04-09

    申请号:CN202311826871.4

    申请日:2023-12-28

    Abstract: 本发明涉及一种融合局部上下文信息并利用标签语义进行命名实体识别的方法。该方法包括以下步骤:对数据进行预处理,得到标签的自然语言形式;使用两个基于Transformer的模型提取全局上下文信息向量和标签语义向量。然后通过多窗口Bi_LSTM层增强局部上下文信息提取,同时,利用基于CNN的联合学习模块进一步捕捉相邻词之间的局部上下文信息。通过多窗口注意力层整合全局上下文和局部上下文信息,以获得token的最终表示,最后计算token与每个标签的相似度,选取与token相似度最高的标签作为该token的预测值。本发明弥补了基于Transformer的模型对局部上下文信息提取不充分的缺陷。此外,本发明还使用标签语义进行预测,提高了任务预测的准确率。

    一种基于提示学习和外部知识嵌入的关系抽取方法

    公开(公告)号:CN117725999A

    公开(公告)日:2024-03-19

    申请号:CN202311826678.0

    申请日:2023-12-28

    Abstract: 本发明属于自然语言处理技术与关系抽取领域,具体涉及一种基于提示学习和外部知识嵌入的关系抽取方法,该方法包括:获取数据,对数据进行预处理;将预处理后的数据输入到训练好的关系抽取模型中,得到模型输出与关系标签嵌入的相似度向量,根据相似度向量输出最佳答案;所述关系抽取模型包括RoBERTa模型、自注意力知识注入器以及相似度比较模块;本发明利用提示学习将关系抽取转化为完形填空任务,解决了以往方法中预训练和微调任务目标差距过大的问题。再单独使用一个轻量级的知识注入模块,使用自注意力机制将外部知识图谱中的实体嵌入向量引入模型,加强了模型整体对知识和上下文的感知。最后通过相似度比较模块计算模型输出和各关系嵌入的向量,通过引入关系嵌入解决了以往面向关系抽取的提示学习中关系标签表示困难的问题。

Patent Agency Ranking