公开(公告)号：CN116383347A

公开(公告)日：2023-07-04

申请号：CN202211104039.9

申请日：2022-09-09

Applicant: 燕山大学

Inventor： 冯建周 ,  王琴 ,  徐甘霖

IPC: G06F16/332 ,  G06F16/36 ,  G06F16/33 ,  G06N5/022 ,  G06F40/211 ,  G06F40/253 ,  G06F40/284 ,  G06F40/247 ,  G06N5/046 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种使用两阶段检索的文本多跳推理问答方法，及自然语言处理技术领域，方法包括两个模块。首先，在上下文感知知识检索器模块中，使用具有掩码机制的双编码器框架进行预训练，再将学习到的假设和知识的表示基于句子级密集检索获得候选核心知识。其次，在实体感知知识验证模块中，通过实体级稀疏矩阵确定假设和知识的可达性，将用于进一步验证核心知识和假设之间是否存在支撑关系。本方法将上下文感知和实体感知的知识检索方法结合应用到推理过程中，改进以实体为中心的推理的盲目性，使模型同时考虑假设和知识之间的上下文语义匹配和实体概念影响。在需要复杂多跳的科学问答领域中，具有明显的性能优势。

公开(公告)号：CN116306653A

公开(公告)日：2023-06-23

申请号：CN202310267754.2

申请日：2023-03-20

Applicant: 燕山大学

Inventor： 冯建周 ,  徐甘霖

IPC: G06F40/295 ,  G06F18/214 ,  G06F18/40

Abstract: 本发明提供了一种正则化领域知识辅助的命名实体识别方法，属于自然语言处理领域。该方法主要包括知识标注、知识提取和知识传递三个步骤。1)知识标注：使用人工注释的正则表达式规则生成句子中实体提及的伪标签；2)知识提取；用带有伪标签的句子训练神经网络模型，将正则化领域知识嵌入到神经网络模型中；3)知识传递：使用知识蒸馏方式将神经网络中存储的领域知识传递到实体识别模型中，增强命名实体识别的准确性。本发明提供的正则化领域知识领域的命名实体识别方法，相比其他外部知识辅助命名实体方法，可以基于已有的训练数据获得正则化领域知识，有效提升现有的多种类型命名实体识别模型的性能。

公开(公告)号：CN116451691A

公开(公告)日：2023-07-18

申请号：CN202310297189.4

申请日：2023-03-24

Applicant: 燕山大学

Inventor： 冯建周 ,  徐甘霖 ,  顾成汉 ,  魏千越 ,  王琴

IPC: G06F40/295 ,  G06N3/09 ,  G06N3/0464

Abstract: 本发明公开了一种实体层次信息增强原型表征的小样本命名实体识别方法，属于自然语言处理技术领域。主要包括两个模块：1）边界识别模块：将训练数据输入到边界识别模块，检测实体跨度在句子中的边界；2）实体分类模块：使用同一个编码器训练数据和实体层次的分支描述进行编码，得到分支描述表征和原始原型表征；通过三仿射注意力机制将实体层次的分支描述融入到原始原型表征中，得到层次指导的原型表征；使用层次‑示例对比学习方法，拉进与层次原型同类样本之间的距离，拉远与之不同类样本的距离。本发明方法通过挖掘文本描述的实体层次信息，向原型表征中引入实体层次信息能够有效增强实体类原型的表征能力，从而增强小样本命名实体识别能力。