公开(公告)号：CN119721244A

公开(公告)日：2025-03-28

申请号：CN202411799156.0

申请日：2024-12-09

Applicant: 哈尔滨工业大学

Inventor： 朱庆福 ,  罗先镇 ,  车万翔 ,  王一轩

IPC: G06N5/04 ,  G06F16/36 ,  G06F16/31 ,  G06F16/334 ,  G06F40/284 ,  G06F40/226

Abstract: 一种基于邻接矩阵与投机解码的大模型推理方法及系统，它属于大模型推理技术领域。本发明解决了现有方法的加速能力有限，且构造草稿单词序列时没有充分利用大模型在解码过程中产生的其他候选单词的问题。本发明具体为：步骤1、构建用于存储词表中每个单词的k个候选单词的邻接矩阵；步骤2、根据输入查询序列从邻接矩阵中检索出由草稿单词序列组成的草稿树；步骤3、利用草稿树中的节点构造一个压缩序列，并基于草稿树构造注意力掩码矩阵；步骤4、将注意力掩码矩阵和压缩序列输入大模型，利用大模型对草稿树中的各个草稿单词序列进行验证得到推理结果，并更新邻接矩阵。本发明方法可以应用于大模型推理。