-
公开(公告)号：CN119849577A
公开(公告)日：2025-04-18
申请号：CN202411923244.7
申请日：2024-12-25
Applicant: 上海交通大学
IPC: G06N3/082 , G06N3/0455
Abstract: 本发明涉及一种基于剪枝影响率的大模型分层剪枝方法和应用，本方法通过计算不同剪枝率剪枝得到的层输出的相似性衡量剪枝对于模型中层的影响，根据大模型中不同层所受到的剪枝的影响不同，为不同层安排不同的剪枝率，有效提高了剪枝模型的准确率。另外，本发明考虑剪枝对于模型中层的影响，利用剪枝影响率，为模型的不同层分配不同稀疏率，能够与非结构化剪枝方法进行结合，减少剪枝给模型带来的性能损失。
Search Results
1
records
(took 0.014 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
