-
Patent Agency Ranking
公开(公告)号：CN113987196A
公开(公告)日：2022-01-28
申请号：CN202111152202.4
申请日：2021-09-29
Applicant: 浙江大学
Abstract: 本发明公开了一种基于知识图谱蒸馏的知识图谱嵌入压缩方法，将充分捕捉高维知识图谱嵌入模型(Teacher模型)中的三元组信息和嵌入结构信息蒸馏到知识图谱嵌入模型(Student模型)中，在保证Student模型存储和推理效率的情况下，提升了Student模型的表达能力，在蒸馏过程中考虑了Teacher模型和Student模型之间的双重影响，提出了软标签评估机制来区分不同三元组的软标签的质量，并提出了先固定Teacher模型后解除固定Teacher模型的训练方式，来提高Student模型对Teacher模型的适应性，最终提升Student模型的性能。
-
公开(公告)号：CN112632290A
公开(公告)日：2021-04-09
申请号：CN202011520309.5
申请日：2020-12-21
Applicant: 浙江大学
IPC: G06F16/36 , G06F16/35 , G06F40/30 , G06F40/295 , G06F40/216
Abstract: 本发明公开了一种融合图结构和文本信息的自适应知识图谱表示学习方法，包括：(1)采样目标三元组头、尾实体的邻居三元组；(2)计算每个目标三元组和其头、尾实体的邻居三元组的语义表示；(3)计算目标三元组头、尾实体的结构表示；(4)将目标三元组自身的语义表示与其头、尾实体的结构表示拼接，输入自适应分类层，计算分类结果和分类损失；(5)基于梯度下降的优化算法对上述模块进行优化，直至损失值收敛，得到目标三元组自身的语义表示与其头、尾实体的结构表示的最终拼接结果。本发明能够同时捕捉知识图谱的语义表示和图结构表示，自适应地将语义和结构信息融合并且充分利用，在信息缺乏的知识图谱上表现出更好的鲁棒性。
-
公开(公告)号：CN113987196B
公开(公告)日：2024-05-24
申请号：CN202111152202.4
申请日：2021-09-29
Applicant: 浙江大学
Abstract: 本发明公开了一种基于知识图谱蒸馏的知识图谱嵌入压缩方法，将充分捕捉高维知识图谱嵌入模型(Teacher模型)中的三元组信息和嵌入结构信息蒸馏到知识图谱嵌入模型(Student模型)中，在保证Student模型存储和推理效率的情况下，提升了Student模型的表达能力，在蒸馏过程中考虑了Teacher模型和Student模型之间的双重影响，提出了软标签评估机制来区分不同三元组的软标签的质量，并提出了先固定Teacher模型后解除固定Teacher模型的训练方式，来提高Student模型对Teacher模型的适应性，最终提升Student模型的性能。
-
公开(公告)号：CN112632290B
公开(公告)日：2021-11-09
申请号：CN202011520309.5
申请日：2020-12-21
Applicant: 浙江大学
IPC: G06F16/36 , G06F16/35 , G06F40/30 , G06F40/295 , G06F40/216
Abstract: 本发明公开了一种融合图结构和文本信息的自适应知识图谱表示学习方法，包括：(1)采样目标三元组头、尾实体的邻居三元组；(2)计算每个目标三元组和其头、尾实体的邻居三元组的语义表示；(3)计算目标三元组头、尾实体的结构表示；(4)将目标三元组自身的语义表示与其头、尾实体的结构表示拼接，输入自适应分类层，计算分类结果和分类损失；(5)基于梯度下降的优化算法对上述模块进行优化，直至损失值收敛，得到目标三元组自身的语义表示与其头、尾实体的结构表示的最终拼接结果。本发明能够同时捕捉知识图谱的语义表示和图结构表示，自适应地将语义和结构信息融合并且充分利用，在信息缺乏的知识图谱上表现出更好的鲁棒性。
-
公开(公告)号：CN119739728A
公开(公告)日：2025-04-01
申请号：CN202411595541.3
申请日：2024-11-08
Applicant: 支付宝(杭州)信息技术有限公司 , 浙江大学
IPC: G06F16/242 , G06F16/2453 , G06F16/2455
Abstract: 本说明书提供一种结构化查询语句的生成方法和系统，包括：基于结构化查询语句生成模型，将自然语言查询语句拆解为若干个自然语言查询子句，并基于结构化查询语句生成模型，将若干个自然语言查询子句生成为结构化查询语句。其中，结构化查询语句生成模型为基于第一大模型蒸馏得到的第二大模型，该第二大模型的参数比所述第一大模型少。通过将经知识蒸馏技术的小模型应用于生成方法中，使得小模型在保持较高性能的同时，参数量显著减少，从而可以提高生成效率，且减少对计算资源的占用。另外，通过将复杂的自然语言查询语句拆解为一个或多个简单的自然语言查询子句，可以更容易地理解和处理查询意图，从而提高生成的准确性和可靠性。
-
-
-
-
Search Results
5
records
(took 0.015 seconds)
