公开(公告)号：CN118839740A

公开(公告)日：2024-10-25

申请号：CN202310470198.9

申请日：2023-04-25

Applicant: 华为技术有限公司

Inventor： 赵亢 ,  于献智 ,  陈汉亭 ,  韩凯 ,  胡婷 ,  王云鹤 ,  姚骏

IPC: G06N3/082 ,  G06N3/0464

Abstract: 一种神经网络的剪枝方法、数据处理方法及装置，涉及深度学习领域，用以提供一种平衡推理性能和准确率的剪枝方式。本申请提供一种互补稀疏方式，权重张量中每K个M长的剪枝向量拼接为一个数据块(或者向量)，经过稀疏后，一个剪枝向量中非零元素所在的位置，在该剪枝向量所属的数据块中的其它剪枝向量在该位置为零元素。相比采用单通道或者按块稀疏方式，本申请实施例采用更小的粒度来稀疏，可以提高网络模型的应用的准确度。相比采用任意稀疏方式来说，按照互补的方式来进行稀疏，在推理阶段无需采用稠密计算，减少了模型的计算量。本申请实施例提供的方案能够在准确度和加速上进行平衡。

公开(公告)号：CN117933312A

公开(公告)日：2024-04-26

申请号：CN202211249989.0

申请日：2022-10-12

Applicant: 华为技术有限公司

Inventor： 于献智 ,  谭懿峻 ,  赵亢 ,  胡婷 ,  姚骏 ,  韩凯 ,  王云鹤 ,  舒晗

IPC: G06N3/0464 ,  G06N3/082

Abstract: 一种模型剪枝方法，应用于人工智能技术领域。在该方法中，通过采用聚类方法将由模型中的权重所构成的权重矩阵进行行重新排序，使得权重矩阵中具有相似分布特征的行(例如权重的值较小的行)被重新排序在一起，然后沿着列的方向对重新排序后的权重矩阵中的元素进行剪枝，能够使得权重矩阵中值较小的元素(即对模型影响较小的权重)被有规律地去除，进而使得在保证模型准确率的同时，有效地降低剪枝得到的模型的推理时延。