公开(公告)号：CN119127120A

公开(公告)日：2024-12-13

申请号：CN202411224249.0

申请日：2024-09-03

Applicant: 西南科技大学

Inventor： 王耀彬 ,  吴欣宇 ,  秦佳伟 ,  唐苹苹 ,  许芸欣

IPC: G06F7/483 ,  G06N3/08 ,  G06N3/084 ,  G06N3/082 ,  G06N3/0455

Abstract: 本发明公开了一种基于POSIT的大语言模型（LLM）浮点运算优化方法，该方法包括如下步骤：自定义RISC‑V指令，使其适配Posit格式运算；将LLM的权重参数用Posit数进行权重量化；将LLM训练过程中使用的浮点数转换为Posit数；将LLM推理过程中使用的浮点数转换为Posit数；使用Posit数进行模型量化。本发明的目的在于针对目前LLM的浮点运算采用IEEE 754浮点数格式的现状，用Posit浮点数代替IEEE 754浮点数，借助于Posit浮点数的自适应精度和动态范围，规避各种计算异常、保持高精度的同时减少LLM模型大小、加速浮点数计算从而加速LLM推理训练。

公开(公告)号：CN119903880A

公开(公告)日：2025-04-29

申请号：CN202410831667.X

申请日：2024-06-25

Applicant: 西南科技大学

Inventor： 刘欢 ,  欧洪余 ,  王耀彬 ,  吴欣宇 ,  张筱竹 ,  黄法钧 ,  秦佳伟 ,  宋英辰 ,  熊朝玉

IPC: G06N3/0495 ,  G06N3/082

Abstract: 本发明公开了一种基于RISC‑V向量的深度神经网络量化加速方法，该方法包括如下步骤：根据向量寄存器堆大小进行分块，使得其大小和张量分块长度一致；计算分块后的张量的量化尺度(Δ，Quantization Scale)与零点(z，Zero Point)保存到一个全局数据结构中；修改编译器让其能识别拓展的乘除指令并完成编译；在向量架构下进行并行计算加速量化和反量化运算。本发明的目的在于解决目前不同神经网络在RISC‑V架构下量化与反量化时，执行相关的除加操作(Divide‑Accumulate Operation，DIVADD)和乘加操作(Multiply‑Accumulate Operation，MAC)时并行度较低、指令开销较大、数据在内存与计算单元间频繁移动而导致的额外功耗等问题。

公开(公告)号：CN118394410A

公开(公告)日：2024-07-26

申请号：CN202410637730.6

申请日：2024-05-22

Applicant: 西南科技大学

Inventor： 王耀彬 ,  吴欣宇 ,  唐苹苹 ,  欧洪余 ,  刘基宏

IPC: G06F9/30 ,  G06F9/302 ,  G06F9/318 ,  G06F9/38

Abstract: 本发明公开了一种基于RISC‑V的可伸缩Posit向量扩展方法，该方法包括如下步骤：修改RISC‑V F/D扩展，使其适配Posit格式；修改编译方法，将浮点数编译为Posit格式；解码Posit为不同精度的向量数据格式，分离各个部分；将融合乘加减部件设置为向量格式；引入RISC‑V V扩展，自适应配置VLEN，修改向量浮点指令和CSR寄存器，加速向量Posit和向量融合乘加减运算。本发明的目的在于针对Posit具有精度高范围广且运算可再现等优点但其运算并行度较低的现状，将RISC‑V和Posit集成起来，修改单/双精度浮点数扩展（F/D扩展）将浮点数用Posit格式表示，来克服IEEE 754缺点，修改相应编译器使其支持Posit格式，最后引入向量架构扩展（V扩展），修改并自定义相应指令，加速Posit和融合乘加减运算。