-
公开(公告)号：CN118690797A
公开(公告)日：2024-09-24
申请号：CN202310354260.8
申请日：2023-03-21
Applicant: 华为技术有限公司
IPC: G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本公开的实施例提供了用于精度转换的方法、设备、装置、介质和程序产品，涉及芯片技术领域。提供了一种方法，用于将包括第一指数域和第一尾数域的第一精度格式的数据转换为包括第二指数域和第二尾数域的第二精度格式。第一精度格式比第二精度格式的精度更高。方法包括：基于针对数据的第二尾数域的位宽，确定第一尾数域中的保留位和参考位，保留位包括从最高位开始的一个或多个位并且位宽与第二尾数域的位宽相同，参考位包括保留位之后的两位。方法还包括基于参考位的编码值与阈值的比较，对保留位的编码值进行舍入操作，以获取第二尾数域的编码值。以此方式，利用位宽为2的参考位与阈值的比较，可以高效地舍入尾数，从而提高精度转换的效率。
-
公开(公告)号：CN118585164A
公开(公告)日：2024-09-03
申请号：CN202310238789.3
申请日：2023-03-03
Applicant: 华为技术有限公司
IPC: G06F7/483
Abstract: 本申请实施例提供一种浮点数据精度转换方法和装置，涉及芯片技术领域，降低了高精度数据向低精度数据转换时的转换误差。具体方案为：根据第一指数域的编码值确定第二尾数域的位宽；确定第一尾数域中的保留编码值和舍弃编码值，保留编码值包括第一尾数域中从最高位开始，且位宽与第二尾数域的位宽相同的编码值；若第一指数域的编码值大于或等于第一预设阈值，根据舍弃编码值中从最高位开始，且位宽为预设位宽的编码值对保留编码值进行舍入操作，得到第二尾数域的编码值；若第一指数域的编码值小于第一预设阈值，根据舍弃编码值的最高位对保留编码值进行舍入操作，得到第二尾数域的编码值。本申请实施例用于浮点数据精度转换的过程。
-
Patent Agency Ranking
公开(公告)号：CN117908827A
公开(公告)日：2024-04-19
申请号：CN202211281416.6
申请日：2022-10-19
Applicant: 华为技术有限公司
IPC: G06F7/483
Abstract: 本申请实施例提供一种浮点数据精度转换方法和装置，涉及芯片技术领域，提高了高精度数据向低精度数据转换时的整体均值不变性。具体方案为：根据第一指数域的第一编码值确定前缀码域的第一位宽、前缀码域的第一编码值、第二指数域的第一位宽、第二指数域的第一编码值以及第二尾数域的第一位宽；确定第一尾数域中的保留编码值和舍弃编码值，保留编码值包括第一尾数域中从最高位开始，且位宽与第二尾数域的第一位宽相同的编码值；根据舍弃编码值对保留编码值进行舍入操作，得到第二尾数域的第一编码值。本申请实施例用于高精度数据向低精度数据转换的过程。
-
公开(公告)号：CN118551812A
公开(公告)日：2024-08-27
申请号：CN202310227069.7
申请日：2023-02-27
Applicant: 华为技术有限公司
Abstract: 本申请提供一种数据处理方法及装置，该方法通过对第一数据执行至少一次逻辑运算和/或算数运算后得到第二数据，第一数据为目标神经元中运行激活函数得到的运行结果，目标神经元为用于训练神经网络模型的多个神经元中任一神经元。由于生成的第二数据的分布均匀，因此第二数据可以视为现有随机失活过程中的随机数。若第二数据小于设定数据，则在神经网络模型的训练过程中使目标神经元停止工作，从而达到以设定比值进行随机失活的目的。由于第二数据是根据第一数据生成的，所以本申请提供的方法不仅减少了数据拷贝过程，还不依赖CPU等设备的并行处理性能，因此提高了随机数生成效率，进而提高dropout效率，避免失活成为模型性能的瓶颈。
-
公开(公告)号：CN117973480A
公开(公告)日：2024-05-03
申请号：CN202211275427.3
申请日：2022-10-18
Applicant: 华为技术有限公司
Abstract: 本公开的实施例提供了用于校准神经网络量化的方法、设备、装置、介质和程序产品，涉及计算机领域。在该方法中，通过在神经网络的多个层执行第一精度与第二精度之间的转换，获取第一推理结果。神经网络以第一精度被训练，第二精度包括锥形浮点精度，并且第一精度高于第二精度。若第一推理结果不满足预定条件，在多个层执行第一精度与第二精度之间的经校准的转换，以获取第二推理结果。若第二推理结果不满足预定条件，在多个层中标识一个或多个目标层以保持第一精度或高于第二精度的其他精度。以此方式，利用经校准的转换，可以减少低精度对网络的推理结果的影响。此外，通过多轮校准来标识不适于执行量化的目标层，可以在提高计算效率的同时使得网络的推理结果能够满足预定条件。
-
公开(公告)号：CN117910537A
公开(公告)日：2024-04-19
申请号：CN202211281740.8
申请日：2022-10-19
Applicant: 华为技术有限公司
Abstract: 本申请实施例公开了一种神经网络训练方法及装置，涉及神经网络领域，能够降低训练功耗，减少训练时间，提高神经网络的性能。具体方案为：将第一数据格式的数据矩阵和权重矩阵转换为第二数据格式的数据转换矩阵和权重转换矩阵，第二数据格式的总位宽小于第一数据格式的总位宽。根据数据转换矩阵和权重转换矩阵逐层前向计算至少一个矩阵乘计算层得到误差数据。根据误差数据逐层反向传播至少一个矩阵乘计算层，以确定每个矩阵乘计算层对应的误差梯度矩阵。根据至少一个矩阵乘计算层中前一个矩阵乘计算层对应的误差梯度矩阵，更新当前计算层对应的参数。其中，至少一个矩阵乘计算层在前向计算和反向传播时对应的数据为第二数据格式的数据。
-
公开(公告)号：CN116841500A
公开(公告)日：2023-10-03
申请号：CN202210296644.4
申请日：2022-03-24
Applicant: 华为技术有限公司
IPC: G06F7/483
Abstract: 本申请实施例公开了一种浮点数的处理方法及相关设备，可以应用于通用计算、高性能计算和人工智能训练及推理等领域。该方法包括：获取第一浮点数；第一浮点数包括第一符号域、阶码位宽域、第一阶码域和第一尾数域；阶码位宽域用于指示第一阶码域在第一浮点数的总位宽N中占用的位宽D；基于第一符号域、阶码位宽域、第一阶码域和第一尾数域，得到第一浮点数对应的规格化数据。本申请在传统的浮点数中额外定义了一个阶码位宽域，用于指示阶码域的位宽，从而使得阶码域的位宽和后续尾数域的位宽可以随着阶码位宽域的数值动态变化，满足不同场景下对浮点数不同数值范围和精度的需求。采用本申请实施例可以优化浮点数格式，提升浮点数的使用效果。
-
-
-
-
-
-
Search Results
7
records
(took 0.022 seconds)
