-
公开(公告)号:CN110728350B
公开(公告)日:2024-07-26
申请号:CN201810715757.7
申请日:2018-06-29
Applicant: 微软技术许可有限责任公司
Abstract: 根据本公开的实现,提出了一种用于机器学习模型的量化的方案。在该方案中,获得机器学习模型中的处理单位所使用的处理参数的当前值。基于预定数目的基础量化参数的当前值和特定于处理参数的二值量化参数的当前值来量化处理参数的当前值,以获得处理参数的量化值,二值量化参数与基础量化参数分别对应,并且预定数目与用于量化的比特数目相同。基于处理参数的量化值与处理参数的当前值之间的差异,更新基础量化参数的当前值和二值量化参数的当前值,以用于特定于处理参数的量化。以此方式,不仅能够获得由网络量化带来的存储和处理开销的降低,而且还能进一步提高量化准确度。
-
公开(公告)号:CN110728350A
公开(公告)日:2020-01-24
申请号:CN201810715757.7
申请日:2018-06-29
Applicant: 微软技术许可有限责任公司
Abstract: 根据本公开的实现,提出了一种用于机器学习模型的量化的方案。在该方案中,获得机器学习模型中的处理单位所使用的处理参数的当前值。基于预定数目的基础量化参数的当前值和特定于处理参数的二值量化参数的当前值来量化处理参数的当前值,以获得处理参数的量化值,二值量化参数与基础量化参数分别对应,并且预定数目与用于量化的比特数目相同。基于处理参数的量化值与处理参数的当前值之间的差异,更新基础量化参数的当前值和二值量化参数的当前值,以用于特定于处理参数的量化。以此方式,不仅能够获得由网络量化带来的存储和处理开销的降低,而且还能进一步提高量化准确度。
-