-
公开(公告)号：CN117973478A
公开(公告)日：2024-05-03
申请号：CN202410149071.1
申请日：2024-02-01
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/08 , G06N3/0495
Abstract: 本说明书提供一种大语言模型的优化方法、装置、设备、介质及计算机程序产品。所述方法包括：根据大语言模型中量化后和量化前的目标矩阵的差异获得残差矩阵；根据与所述残差矩阵的第一列向量相似度最高的量化后的目标矩阵中的第二列向量，确定所述残差矩阵的稀疏基；根据所述稀疏基得到量化后的网络层的修正参数，所述修正参数用于对推理过程中所述量化后的网络层的输出数据进行修正。通过从目标矩阵中获得与网络层量化后与量化前的误差相似的参数组合，来对推理过程中该网络层的输出数据进行修正，可以使输出数据更接近于量化前网络层的输出数据，从而减小了量化误差，降低了量化效果损失。
Search Results
1
records
(took 0.031 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
