公开(公告)号：CN118153679A

公开(公告)日：2024-06-07

申请号：CN202410326798.2

申请日：2024-03-21

Applicant: 东北大学

Inventor： 程经纬 ,  陈朗朗 ,  许芷毓 ,  张富

IPC: G06N5/022 ,  G06N3/042 ,  G06N3/0499 ,  G06N3/0895 ,  G06N3/084

Abstract: 本发明设计一种基于多跳注意力机制的半监督实体对齐方法，首先对知识图谱数据进行预处理，并划分得到训练集和测试集；对经处理的知识图谱数据中的实体名和关系信息进行特征提取并构建特征向量；构造实体对齐模型，模型输入为特征向量，输出经过训练优化的实体向量，使得具有相同含义的实体表示在向量空间中距离更接近，即通过空间距离计算得到对齐的实体；本发明采用了注意力扩散机制的多跳注意力网络，能捕获多跳邻居节点的信息，使得实体对齐模型能够聚焦于对当前任务最重要的信息；对于标签数据的依赖问题，采用延迟接受算法和基于频次的采样方式将伪对齐对标记为训练数据，以半监督的方式训练得到一个端到端的实体对齐模型。

公开(公告)号：CN118132764A

公开(公告)日：2024-06-04

申请号：CN202410332412.9

申请日：2024-03-22

Applicant: 东北大学

Inventor： 张富 ,  李翔 ,  毛超远 ,  程经纬

IPC: G06F16/36 ,  G06F16/35 ,  G06F40/126 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08 ,  G06N5/022

Abstract: 本发明设计一种基于图卷积网络和知识蒸馏的常识知识图谱补全方法，属于常识知识图谱补全领域；通过设计一种基于图卷积网络和知识蒸馏的常识知识图谱补全模型实现，所述模型具体为Teacher‑Student框架，分为老师模型和学生模型；其中针对教师模型设计并行模型结构，在不添加相似边的情况下输出更好的结果；对于学生模型，通过知识蒸馏将教师模型中的知识提取到学生模型中，并使用学生模型来优化教师模型的结果；使模型泛化效果更好，最终也得到了更优的指标。

公开(公告)号：CN118332111A

公开(公告)日：2024-07-12

申请号：CN202410354895.2

申请日：2024-03-27

Applicant: 东北大学

Inventor： 王嘉鹏 ,  张富 ,  缪琦 ,  程经纬

IPC: G06F16/35 ,  G06F16/33 ,  G06F18/25 ,  G06F18/24 ,  G06F40/279 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明设计一种距离感知和多步推理的文档级关系抽取方法；首先将文档输入基于Transformer的预训练语言模型，得到编码后的文本序列向量；利用注意力机制寻找文档中能够帮助关系抽取模型确定实体对关系的上下文信息向量；利用带有距离信息的提及聚合模块，将提及之间的距离信息融入注意力机制中，并为实体的各个提及计算出聚合权重，最后将提及的向量特征聚合为实体对向量特征；利用多步推理模块构建实体对图将实体对特征作为节点特征，利用图注意力神经网络让实体对能够感知并聚合其它实体对的特征信息以更新自身的特征，达到多步推理的效果，最后将图神经网络得到的节点特征和节点对应的实体特征融合，得到新的实体对特征；最后计算关系抽取的损失。