-
公开(公告)号：CN119250133A
公开(公告)日：2025-01-03
申请号：CN202411224385.X
申请日：2024-09-03
Applicant: 厦门大学
IPC: G06N3/0495
Abstract: 本发明公开一种基于联合优化的LLMs组合压缩方法、电子设备和存储介质，将量化和稀疏化方法相结合，并同时最小化量化和稀疏化带来的误差，包括以下步骤：从WikiText2训练语料库中采样128个片段，每个片段包含2048个标签；使用统计指标初始化对角线变换矩阵，使用等效变换操作对权重进行初步量化，确定量化步长和零点，并通过步骤1采样的数据对其进行校准；计算稀疏掩码，使用重要性指标#imgabs0#进行重新排列权重，优先稀疏化不重要的权重；进行联合优化；使用不同的数据集对压缩后的模型进行评估，验证其性能提升。
Search Results
1
records
(took 0.014 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
