溢出感知的量化模型训练方法、装置、介质及终端设备

    公开(公告)号:CN113780549A

    公开(公告)日:2021-12-10

    申请号:CN202110898412.1

    申请日:2021-08-05

    Abstract: 本申请公开了一种溢出感知的量化模型训练方法、装置、介质及终端设备,所述方法包括对预设网络模型中的网络层的目标数据进行量化处理,并基于量化处理后的目标数据以及网络层,确定网络层的输出数据,确定输出数据对应的溢出元素数量,并基于所述溢出元素数量调节所述网络层对应的量化缩放系数,以调节所述网络层对应的量化缩放因子。本实施例通过基于用于运行所述网络层的累加器的约束位数来对量化缩放系数及量化缩放因子进行调整,从而使得网络层的输出数据不会出现溢出的问题,进而可以提高模型性能,同时可以使得网络层在低约束位数的累加器中进行,从而可以增加用于运行网络层的累加器的并行数量,从而可以提高网络层的运算速度。

    模型数据处理方法、装置、计算机设备及存储介质

    公开(公告)号:CN119830979A

    公开(公告)日:2025-04-15

    申请号:CN202510309307.8

    申请日:2025-03-17

    Abstract: 本申请实施例公开了一种模型数据处理方法、装置、计算机设备及存储介质。包括:获取预训练模型及预训练模型对应的模型数据,预训练模型为状态空间模型结构下的模型;根据模型数据确定预训练模型中需要进行数据处理加速的第一算子;对第一算子进行解耦处理,得到第一算子对应的第二算子,第二算子对应的硬件处理单元和第一算子对应的硬件处理单元不同;获取第二算子对应的待处理数据,并确定待处理数据对应的离散化参数;根据第二算子对待处理数据和离散化参数进行数据处理,得到数据处理结果。以此,通过模型的第一算子进行解耦出的第二算子可以被其他硬件处理单元加载,并对待处理数据进行离散化处理减少模型的计算量,提升了数据处理效率。

Patent Agency Ranking