-
公开(公告)号:CN119831039A
公开(公告)日:2025-04-15
申请号:CN202411885787.4
申请日:2024-12-20
Applicant: 中国科学院计算技术研究所
IPC: G06N5/04 , G06N3/045 , G06F16/3329 , G10L15/22 , G06F3/01
Abstract: 本发明提出一种基于大语言模型的人机对话方法、装置,该方法包括如下步骤:基于预设的基线策略,筛选每一时间步的初始流式输入数据,得到对应的目标流式输入数据;并将每一时间步的初始流式输入数据、目标流式输入数据输入至大语言模型,分别得到第一分布、第二分布,依据第一分布、第二分布计算KL散度与置信度。最终结合KL散度与置信度确定目标生成时刻。该方法通过对比激进策略的方式确定模型的目标生成时刻,指导大语言模型在读入恰当流式输入时生成回复,准确确定了生成时刻,避免冗余延时以及不充分的流式输入情况,满足基于大语言模型人机对话的精确性和实时性的要求。