公开(公告)号：CN120012913A

公开(公告)日：2025-05-16

申请号：CN202411888199.6

申请日：2024-12-20

Applicant: 南京工程学院

Inventor： 杨大卫 ,  程元 ,  张跃 ,  李瑞 ,  马晨皓 ,  焦良葆 ,  黄纬

IPC: G06N5/04 ,  G06F17/16

Abstract: 本申请适用于计算机技术领域，提供了一种基于共享指数的矩阵乘的文本生成方法、装置及终端设备，包括：获取输入LLM模型文本数据和LLM模型模型参数，再将文本数据和模型参数转换为第一浮点格式数据集，根据预设共享指数算法对第一浮点格式数据集中的每个数据进行指数对齐，生成第二浮点格式数据集，再对第一矩阵和第二矩阵进行矩阵乘运算，生成第三矩阵，再将第三矩阵输入至自注意力机制层输出注意力加权表示，将注意力加权表示输入至前馈神经网络输出高级特征表示，最后将高级特征表示输入解码器中输出文本数据对应的文本。本申请的方法在维持高计算精度的同时，大幅降低原先浮点运算的计算功耗，进一步降低LLM模型的推理延迟，提高文本生成的效率。

公开(公告)号：CN118227840A

公开(公告)日：2024-06-21

申请号：CN202410323166.0

申请日：2024-03-20

Applicant: 南京工程学院

Inventor： 杨大卫 ,  黄晓华 ,  蔡炜 ,  李瑞

IPC: G06F16/901 ,  G06F16/23 ,  G06F16/25 ,  G06N3/048 ,  G06N3/0495 ,  G06N3/045

Abstract: 本发明提出了一种用于激活函数量化后的多段非线性查找表构建方法和装置，包括：对数据范围的存储数据进行均匀采样，并计算各个采样点的斜率与曲率数据；确定分段的关键点；根据输入数据从小到大的顺序生成所有可能输入的定点数，并存放在候选数组内；通过关键点，确定每一段的数据范围，更新临时表；按照量化规则将临时表中的表项转换为整型数，存入真正的查找表中，同时存储转换时使用的量化参数和输出对齐参数。本发明可以有效提升Softmax函数在量化网络中的运行速度。