-
公开(公告)号:CN117764147A
公开(公告)日:2024-03-26
申请号:CN202311209897.4
申请日:2023-09-18
Applicant: 华为技术有限公司
Abstract: 本申请提供一种人工智能领域的模型训练方法、模型确定方法以及装置,用于对基于两次量化得到的多个不同精度的量化模型进行训练,得到训练后的混合比特超网络,通过存储最高比特量化模型,从而减小存储模型占用的内存大小。该方法包括:获取第一量化模型,第一量化模型为对全精度神经网络模型的参数进行量化得到的;对第一量化模型的参数进行量化,得到第二量化模型,第一量化模型的第一量化比特大于第二量化模型的第二量化比特;通过对第一量化模型和第二量化模型进行训练,得到训练后的混合比特超网络,训练后的混合比特超网络中包括多个子网络,多个子网络包括对第一量化模型和第二量化模型进行训练得到。