公开(公告)号：CN118690691A

公开(公告)日：2024-09-24

申请号：CN202410726251.1

申请日：2024-06-06

Applicant: 北京大学

Inventor： 李萌 ,  解同 ,  赵家旺 ,  张作栋 ,  王源 ,  王润声 ,  黄如

IPC: G06F30/30 ,  G06F30/27 ,  G06N5/04 ,  G06F17/16 ,  G06F7/57 ,  G06F119/02 ,  G06F117/02

Abstract: 本发明提供了一种基于统计特征的大语言模型推理近似容错方法，属于电子设计自动化与计算系统的可靠性设计技术领域。本发明利用大语言模型错误统计特征，划定模型不同计算单元的错误危险区域，将大语言模型部署在基于统计ABFT电路的脉动阵列加速器上，在模型推理中，利用统计ABFT电路收集错误的统计信息，并计算判定错误的严重程度以决定是否触发纠错重算，从而减少模型重算开销；本发明统计ABFT电路能实现低成本的错误统计特征收集和错误的严重程度的判定，实现可靠、高效的模型推理，具有广阔的应用前景。