公开(公告)号：CN120011534A

公开(公告)日：2025-05-16

申请号：CN202411932523.X

申请日：2024-12-26

Applicant: 暨南大学

Inventor： 黄斐然 ,  徐冲 ,  刘文骁 ,  周志博 ,  刘志全

IPC: G06F16/334 ,  G06F40/194 ,  G06F40/279 ,  G06F18/214 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开了一种基于大语言模型的实体消歧和遗忘方法及系统，涉及自然语言处理的实体消歧技术领域，包括；确定实体消歧数据集和遗忘数据集，构建对比学习样本并进行数据预处理；利用LLaMA3模型提取特征，添加投影层和对比学习模块；通过构建损失函数，对于每个样本，使用余弦相似度计算其特征表示与正负样本的相似度，使用对比损失来度量模型在区分正负样本的效果；基于损失值，通过反向传播更新模型参数，直到模型收敛。本发明以LLaMA3模型基础架构，基于对比学习的方法增强了模型的判别能力，同时提供了实现遗忘机制的途径。本发明为模型在自然语言处理领域的研究和应用提供新的思路。