公开(公告)号：CN119440784A

公开(公告)日：2025-02-14

申请号：CN202310948337.4

申请日：2023-07-28

Applicant: 华为技术有限公司 ,  中国科学技术大学

Inventor： 林俊卿 ,  孙经纬 ,  张洪赫 ,  石晓龙 ,  孙广中 ,  于献智 ,  姚骏 ,  王新志

IPC: G06F9/50 ,  G06N3/02

Abstract: 一种SpMM算子的优化方法、优化系统和计算设备。优化系统在接收到SpMM算子后，可以利用多种切分方式对SpMM算子的内核进行切分，得到多种切分结果。优化系统再利用与运行SpMM算子的设备运行SpMM算子的特征相关的约束条件筛选切片结果，筛选出适配于约束条件的几种切分结果，使得SpMM算子在推理过程中，按照筛选出的切分结果运行，提高SpMM算子的计算性能。另外，优化系统利用约束条件筛选出的切片结果的数量可能比较多，导致SpMM算子运行时的搜索开销比较大。优化系统可以基于运行切片结果的设备性能，选择出性能最高的集中切片结果，使得SpMM算子在推理过程中，按照筛选出的切分结果运行，可以进一步提高SpMM算子的计算性能。

公开(公告)号：CN120012906A

公开(公告)日：2025-05-16

申请号：CN202311524978.3

申请日：2023-11-15

Applicant: 华为技术有限公司

Inventor： 胡婷 ,  胡佳新 ,  柏昊立 ,  高涵 ,  钱诚 ,  刘睿康 ,  于献智 ,  侯璐 ,  姚骏 ,  刘群 ,  曾嘉

IPC: G06N5/04 ,  G06N3/0455 ,  G06F18/21 ,  G06F18/27

Abstract: 一种数据处理方法，应用于人工智能领域，所述方法包括：根据第一数据，通过第一网络，生成第二数据；根据所述第一数据，通过第二网络，生成第三数据；其中，所述第一网络包括第一网络层，所述第二网络包括第二网络层，所述第一网络层为所述第二网络层的部分网络；根据所述第三数据，对所述第二数据进行验证。本申请将进行数据验证过程的网络(第二网络)复用了进行用于生成数据网络(中的一部分，也就是第一网络)，可以降低额外的推理部署开销，且第二网络在进行验证时内存可复用第一网络的推理结果，无需额外的时延，降低了计算开销。

公开(公告)号：CN118839740A

公开(公告)日：2024-10-25

申请号：CN202310470198.9

申请日：2023-04-25

Applicant: 华为技术有限公司

Inventor： 赵亢 ,  于献智 ,  陈汉亭 ,  韩凯 ,  胡婷 ,  王云鹤 ,  姚骏

IPC: G06N3/082 ,  G06N3/0464

Abstract: 一种神经网络的剪枝方法、数据处理方法及装置，涉及深度学习领域，用以提供一种平衡推理性能和准确率的剪枝方式。本申请提供一种互补稀疏方式，权重张量中每K个M长的剪枝向量拼接为一个数据块(或者向量)，经过稀疏后，一个剪枝向量中非零元素所在的位置，在该剪枝向量所属的数据块中的其它剪枝向量在该位置为零元素。相比采用单通道或者按块稀疏方式，本申请实施例采用更小的粒度来稀疏，可以提高网络模型的应用的准确度。相比采用任意稀疏方式来说，按照互补的方式来进行稀疏，在推理阶段无需采用稠密计算，减少了模型的计算量。本申请实施例提供的方案能够在准确度和加速上进行平衡。

公开(公告)号：CN117933312A

公开(公告)日：2024-04-26

申请号：CN202211249989.0

申请日：2022-10-12

Applicant: 华为技术有限公司

Inventor： 于献智 ,  谭懿峻 ,  赵亢 ,  胡婷 ,  姚骏 ,  韩凯 ,  王云鹤 ,  舒晗

IPC: G06N3/0464 ,  G06N3/082

Abstract: 一种模型剪枝方法，应用于人工智能技术领域。在该方法中，通过采用聚类方法将由模型中的权重所构成的权重矩阵进行行重新排序，使得权重矩阵中具有相似分布特征的行(例如权重的值较小的行)被重新排序在一起，然后沿着列的方向对重新排序后的权重矩阵中的元素进行剪枝，能够使得权重矩阵中值较小的元素(即对模型影响较小的权重)被有规律地去除，进而使得在保证模型准确率的同时，有效地降低剪枝得到的模型的推理时延。