-
公开(公告)号：CN118964552A
公开(公告)日：2024-11-15
申请号：CN202410955938.2
申请日：2024-07-17
Applicant: 成都信息工程大学
IPC: G06F16/332 , G06F16/33 , G06F40/126 , G06F40/216
Abstract: 本发明涉及一种基于对比解码的大语言模型幻觉缓解方法，通过从大模型最终层的预测信息中剔除潜在的幻觉成分，增强输出内容的真实性，设计多层融合机制，充分利用模型各层预测的概率分布信息。引入幻觉信息筛选模型，以简洁高效的方式，整合并分析大语言模型低层中可能蕴含的幻觉信息。通过在幻觉问答数据集上对幻觉信息筛选模型进行训练，使其能够精准捕捉并拟合数据集中普遍存在的幻觉数据特征，从而实现对幻觉信息的有效识别与过滤。在解码阶段，将模型最终层输出的概率分布与幻觉信息筛选模型输出的概率分布进行对比解码，以此差异为指导，动态调整下一个标记的生成概率分布，从而引导大语言模型在解码过程中更倾向产生真实、无幻觉的内容。
Search Results
1
records
(took 0.018 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
