-
公开(公告)号：CN119416849A
公开(公告)日：2025-02-11
申请号：CN202411277413.4
申请日：2024-09-12
Applicant: 厦门大学
IPC: G06N3/082 , G06N3/0499 , G06N3/084
Abstract: 本发明公开了一种用于高效N_M稀疏训练的块感知掩码进化方法，涉及神经网络压缩与加速技术领域。所述方法包括：对于N：M稀疏模式，将权重向量划分为固定大小M的权重块；对于每个权重块分别计算权重指标，然后根据权重指标适应得到相应的二进制掩码；对每组权重块计算稀疏架构差异得到块感知分数，然后选取高频掩码块；组合二进制掩码与高频掩码块实现联合优化，得到新掩码，通过新掩码更新原始掩码以及进行剪枝和恢复权重，降低训练损失。本发明提供的一种用于高效N_M稀疏训练的块感知掩码进化方法，在整个训练过程中执行稀疏的前向和后向传播，大大减轻了训练成本。
Search Results
1
records
(took 0.012 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
