公开(公告)号：CN119150863A

公开(公告)日：2024-12-17

申请号：CN202411566454.5

申请日：2024-11-05

Applicant: 中国计量大学

Inventor： 程旭东 ,  胡益 ,  余鸿皓 ,  胡传杰 ,  董志成 ,  任杭良 ,  徐前程 ,  金晶 ,  薛振宇

IPC: G06F40/289 ,  G06F40/211 ,  G06N5/04 ,  G06F16/33 ,  G06N3/08

Abstract: 针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题，本发明提出了一种大语言模型下的动态推理方法和系统，通过将用户输入的提示语句进行分词处理，并利用两个不同的识别模型分别计算每个分词的匹配度，进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程，具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时，相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率，使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配，从而提高了整体的响应速度和准确性。

公开(公告)号：CN119150863B

公开(公告)日：2025-03-18

申请号：CN202411566454.5

申请日：2024-11-05

Applicant: 中国计量大学

Inventor： 程旭东 ,  胡益 ,  余鸿皓 ,  胡传杰 ,  董志成 ,  任杭良 ,  徐前程 ,  金晶 ,  薛振宇

IPC: G06F40/289 ,  G06F40/211 ,  G06N5/04 ,  G06F16/334 ,  G06N3/08

Abstract: 针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题，本发明提出了一种大语言模型下的动态推理方法和系统，通过将用户输入的提示语句进行分词处理，并利用两个不同的识别模型分别计算每个分词的匹配度，进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程，具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时，相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率，使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配，从而提高了整体的响应速度和准确性。