公开(公告)号：CN119227665B

公开(公告)日：2025-04-18

申请号：CN202411755041.1

申请日：2024-12-03

Applicant: 南京信息工程大学

Inventor： 韩进 ,  杨良

IPC: G06F40/194 ,  G06F40/30 ,  G06F40/279 ,  G06F16/334

Abstract: 本发明公开了一种基于RoBERTa知识蒸馏的相似度文本挖掘方法及系统，包括：将句子嵌入映射到概率分布空间以转化为概率分布，利用KL散度衡量句子嵌入之间的语义差异，调整嵌入向量的参数，减小相似句子对的KL散度的同时增加不相似句子的KL散度；基于KL散度优化后的损失函数进行反向传播，更新词向量参数，保存优化后的句子向量，生成词向量空间；对基于RoBERTa的知识蒸馏嵌入模型进行训练，将深层模型中的丰富语义信息迁移至轻量化的学生模型；采用训练完成的学生模型执行相似度文本挖掘任务。本发明能够更好地捕捉句子之间的细微语义差异，显著提升了语义相似度计算的精度和计算效率。

公开(公告)号：CN119227665A

公开(公告)日：2024-12-31

申请号：CN202411755041.1

申请日：2024-12-03

Applicant: 南京信息工程大学

Inventor： 韩进 ,  杨良

IPC: G06F40/194 ,  G06F40/30 ,  G06F40/279 ,  G06F16/33

Abstract: 本发明公开了一种基于RoBERTa知识蒸馏的相似度文本挖掘方法及系统，包括：将句子嵌入映射到概率分布空间以转化为概率分布，利用KL散度衡量句子嵌入之间的语义差异，调整嵌入向量的参数，减小相似句子对的KL散度的同时增加不相似句子的KL散度；基于KL散度优化后的损失函数进行反向传播，更新词向量参数，保存优化后的句子向量，生成词向量空间；对基于RoBERTa的知识蒸馏嵌入模型进行训练，将深层模型中的丰富语义信息迁移至轻量化的学生模型；采用训练完成的学生模型执行相似度文本挖掘任务。本发明能够更好地捕捉句子之间的细微语义差异，显著提升了语义相似度计算的精度和计算效率。