公开(公告)号：CN119127120A

公开(公告)日：2024-12-13

申请号：CN202411224249.0

申请日：2024-09-03

Applicant: 西南科技大学

Inventor： 王耀彬 ,  吴欣宇 ,  秦佳伟 ,  唐苹苹 ,  许芸欣

IPC: G06F7/483 ,  G06N3/08 ,  G06N3/084 ,  G06N3/082 ,  G06N3/0455

Abstract: 本发明公开了一种基于POSIT的大语言模型（LLM）浮点运算优化方法，该方法包括如下步骤：自定义RISC‑V指令，使其适配Posit格式运算；将LLM的权重参数用Posit数进行权重量化；将LLM训练过程中使用的浮点数转换为Posit数；将LLM推理过程中使用的浮点数转换为Posit数；使用Posit数进行模型量化。本发明的目的在于针对目前LLM的浮点运算采用IEEE 754浮点数格式的现状，用Posit浮点数代替IEEE 754浮点数，借助于Posit浮点数的自适应精度和动态范围，规避各种计算异常、保持高精度的同时减少LLM模型大小、加速浮点数计算从而加速LLM推理训练。