公开(公告)号：CN117474051A

公开(公告)日：2024-01-30

申请号：CN202210836913.1

申请日：2022-07-15

Applicant: 华为技术有限公司

Inventor： 陈醒濠 ,  涂志俊 ,  王云鹤

IPC: G06N3/0495 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084

Abstract: 本申请用于提供一种二值量化方法、神经网络的训练方法、设备以及存储介质。二值量化方法包括：确定神经网络中的待量化数据；确定所述待量化数据对应的量化参数，所述量化参数包括缩放系数和偏移量；基于所述缩放系数和所述偏移量确定所述待量化数据对应的二值化上限值和二值化下限值；基于所述缩放系数和所述偏移量对所述待量化数据进行二值量化，以将所述待量化数据量化为所述二值化上限值或所述二值化下限值。该方法通过使用一个自适应的缩放系数和偏移量来控制生成二值量化最终的二值集合，将全精度的待量化数据量化到任意二值以灵活地适应不同的数据分布，能够提升二值量化特征的表达能力，进而提升二值神经网络的性能。

公开(公告)号：CN117422131A

公开(公告)日：2024-01-19

申请号：CN202311197434.0

申请日：2023-09-15

Applicant: 华为技术有限公司

Inventor： 张昀 ,  李卫 ,  李思邈 ,  胡杰 ,  陈汉亭 ,  涂志俊 ,  汪海铃 ,  王云鹤

IPC: G06N3/0985 ,  G06N3/0495

Abstract: 提供了一种模型训练方法训练设备。该方法包括：将第二输入数据输入第一模型，确定第一输出数据，以及将所述第二输入数据输入第二模型，确定第二输出数据，其中，所述第二模型至少基于第一输入数据训练获得，所述第二输入数据基于所述第一输入数据进行处理得到；根据所述第一输出数据和所述第二输出数据确定所述第一模型的第一蒸馏损失值：根据所述第一蒸馏损失值更新所述第一模型的参数。该方法中，将基于第一输入数据得到的第二输入数据作为第一模型和第二模型的输入，根据两个模型的输出更新第一模型的参数，可以使第一模型充分学习第二模型的先验知识，提升第一模型的性能。

公开(公告)号：CN116227549A

公开(公告)日：2023-06-06

申请号：CN202310129458.6

申请日：2023-01-31

Applicant: 华为技术有限公司

Inventor： 涂志俊 ,  胡杰 ,  陈汉亭 ,  王云鹤

IPC: G06N3/0464 ,  G06N3/048 ,  G06N3/084 ,  G06V20/58 ,  G06V10/764 ,  G06V10/82 ,  G06V20/10 ,  G06F16/35 ,  G06V40/10 ,  G06T3/00

Abstract: 本申请公开了一种模型量化方法，涉及人工智能领域，所述方法包括：获取神经网络的第一中间层输出的第一特征图；根据第一特征图中多个第一特征点的数值分布，确定满足预设条件的第一截断区间；所述第一截断区间包括第一上边界阈值和第一下边界阈值，所述预设条件包括：在所述数值截断区间内的特征点的数值分布密度大于在所述数值截断区间外的特征点的数值分布密度。本申请使用上端截断阈值和下端截断阈值来表示量化的参数设置，而非之前方案中常见的零点位置和范围大小，先对浮点模型使用基于密度的双端截，去除长尾分布中离群点，可以适应非对称的分布趋势，进而提升量化后的模型精度。