公开(公告)号：CN113987196B

公开(公告)日：2024-05-24

申请号：CN202111152202.4

申请日：2021-09-29

Applicant: 浙江大学

Inventor： 张文 ,  朱渝珊 ,  赖亦璇 ,  徐雅静 ,  陈华钧

IPC: G06F16/36 ,  G06N5/02

Abstract: 本发明公开了一种基于知识图谱蒸馏的知识图谱嵌入压缩方法，将充分捕捉高维知识图谱嵌入模型(Teacher模型)中的三元组信息和嵌入结构信息蒸馏到知识图谱嵌入模型(Student模型)中，在保证Student模型存储和推理效率的情况下，提升了Student模型的表达能力，在蒸馏过程中考虑了Teacher模型和Student模型之间的双重影响，提出了软标签评估机制来区分不同三元组的软标签的质量，并提出了先固定Teacher模型后解除固定Teacher模型的训练方式，来提高Student模型对Teacher模型的适应性，最终提升Student模型的性能。

公开(公告)号：CN113987196A

公开(公告)日：2022-01-28

申请号：CN202111152202.4

申请日：2021-09-29

Applicant: 浙江大学

Inventor： 张文 ,  朱渝珊 ,  赖亦璇 ,  徐雅静 ,  陈华钧

IPC: G06F16/36 ,  G06N5/02

Abstract: 本发明公开了一种基于知识图谱蒸馏的知识图谱嵌入压缩方法，将充分捕捉高维知识图谱嵌入模型(Teacher模型)中的三元组信息和嵌入结构信息蒸馏到知识图谱嵌入模型(Student模型)中，在保证Student模型存储和推理效率的情况下，提升了Student模型的表达能力，在蒸馏过程中考虑了Teacher模型和Student模型之间的双重影响，提出了软标签评估机制来区分不同三元组的软标签的质量，并提出了先固定Teacher模型后解除固定Teacher模型的训练方式，来提高Student模型对Teacher模型的适应性，最终提升Student模型的性能。