公开(公告)号：CN120012913A

公开(公告)日：2025-05-16

申请号：CN202411888199.6

申请日：2024-12-20

Applicant: 南京工程学院

Inventor： 杨大卫 ,  程元 ,  张跃 ,  李瑞 ,  马晨皓 ,  焦良葆 ,  黄纬

IPC: G06N5/04 ,  G06F17/16

Abstract: 本申请适用于计算机技术领域，提供了一种基于共享指数的矩阵乘的文本生成方法、装置及终端设备，包括：获取输入LLM模型文本数据和LLM模型模型参数，再将文本数据和模型参数转换为第一浮点格式数据集，根据预设共享指数算法对第一浮点格式数据集中的每个数据进行指数对齐，生成第二浮点格式数据集，再对第一矩阵和第二矩阵进行矩阵乘运算，生成第三矩阵，再将第三矩阵输入至自注意力机制层输出注意力加权表示，将注意力加权表示输入至前馈神经网络输出高级特征表示，最后将高级特征表示输入解码器中输出文本数据对应的文本。本申请的方法在维持高计算精度的同时，大幅降低原先浮点运算的计算功耗，进一步降低LLM模型的推理延迟，提高文本生成的效率。