公开(公告)号：CN114911947B

公开(公告)日：2024-11-15

申请号：CN202210419758.3

申请日：2022-04-20

Applicant: 复旦大学

Inventor： 员司雨 ,  阳德青 ,  肖仰华

IPC: G06F16/36 ,  G06F16/35 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明属于人工智能与知识工程技术领域，具体为一种基于知识提示的概念抽取模型，简称KPCE。本发明模型包括提示构建器和概念抽取器；提示构建器，给定实体的主题用作双向编码表示的预训练语言模型，简称BERT，的知识引导提示；并添加可训练的连续提示，以增强概念抽取性能；概念抽取器利用提示引导BERT以及指针网络从输入文本中抽取多粒度、高质量的概念。本发明使用从现有知识图谱中获取的主题知识构建语言提示，同时考虑神经网络连续性特征，将可训练的连续提示与上述主题构建的知识提示结合，以此提升大规模预训练语言模型BERT在概念抽取任务上的性能；还借助指针网络，设置适当的阈值重复抽取文本中同一片段，实现多粒度概念的获取。

公开(公告)号：CN114911947A

公开(公告)日：2022-08-16

申请号：CN202210419758.3

申请日：2022-04-20

Applicant: 复旦大学

Inventor： 员司雨 ,  阳德青 ,  肖仰华

IPC: G06F16/36 ,  G06F16/35 ,  G06N3/08

Abstract: 本发明属于人工智能与知识工程技术领域，具体为一种基于知识提示的概念抽取模型，简称KPCE。本发明模型包括提示构建器和概念抽取器；提示构建器，给定实体的主题用作双向编码表示的预训练语言模型，简称BERT，的知识引导提示；并添加可训练的连续提示，以增强概念抽取性能；概念抽取器利用提示引导BERT以及指针网络从输入文本中抽取多粒度、高质量的概念。本发明使用从现有知识图谱中获取的主题知识构建语言提示，同时考虑神经网络连续性特征，将可训练的连续提示与上述主题构建的知识提示结合，以此提升大规模预训练语言模型BERT在概念抽取任务上的性能；还借助指针网络，设置适当的阈值重复抽取文本中同一片段，实现多粒度概念的获取。