-
公开(公告)号：CN113361700A
公开(公告)日：2021-09-07
申请号：CN202010142443.X
申请日：2020-03-04
Applicant: 佳能株式会社
Abstract: 本发明公开一种生成量化神经网络的方法、装置、系统、存储介质及应用。所述方法包括：确定步骤，基于待量化的神经网络中的浮点权重，分别确定与所述浮点权重对应的、用于直接输出量化权重的网络；量化步骤，利用所确定的网络，对与其对应的浮点权重进行量化，以得到量化神经网络；以及更新步骤，基于经由所述量化神经网络得到的损失函数值，更新所述所确定的网络、所述浮点权重和所述量化神经网络中的量化权重。根据本公开，可解决神经网络量化过程中的梯度不匹配问题，从而能提高所生成的量化神经网络的性能。
-
公开(公告)号：CN112784978A
公开(公告)日：2021-05-11
申请号：CN201911086516.1
申请日：2019-11-08
Applicant: 佳能株式会社
IPC: G06N3/08
Abstract: 本发明公开一种训练神经网络的方法、装置和系统及存储指令的存储介质。在训练神经网络的方法中，神经网络包括第一神经网络和第二神经网络，第一神经网络的训练还未完成且第二神经网络的训练还未开始，对于当前的第一神经网络和当前的第二神经网络，该方法包括：将样本图像经由当前的第一神经网络得到第一输出，将样本图像经由当前的第二神经网络得到第二输出；以及，根据第一损失函数值更新当前的第一神经网络，根据第二损失函数值更新当前的第二神经网络，其中，第一损失函数值根据第一输出获得，第二损失函数值根据第一输出和第二输出获得。根据本公开，可改善第二神经网络的性能及减少第一神经网络和第二神经网络的整体训练时间。
-
Patent Agency Ranking
公开(公告)号：CN112446487A
公开(公告)日：2021-03-05
申请号：CN201911115314.5
申请日：2019-11-14
Applicant: 佳能株式会社
Abstract: 本发明提供一种神经网络模型的训练和应用方法、装置、系统及存储介质。所述训练方法包括：根据神经网络模型的训练迭代次数和计算精度确定约束阈值范围，将权重的梯度约束在所述约束阈值范围内，使得当由于量化误差导致低精度的权重的梯度出现畸变的时候，通过对梯度的约束，修正梯度出现的畸变，使训练后的网络模型能够达到预期的性能。
-
公开(公告)号：CN113537447A
公开(公告)日：2021-10-22
申请号：CN202010312882.0
申请日：2020-04-20
Applicant: 佳能株式会社
Abstract: 本发明公开一种多层神经网络的生成方法、装置、应用方法及存储介质。所述生成方法包括：获取步骤，获取多层神经网络，其中，所述多层神经网络至少包括卷积层和量化层；生成步骤，针对所述多层神经网络中的各量化层，基于该量化层中的量化比特参数和可学习的量化区间参数，生成量化阈值参数；以及更新步骤，基于所生成的量化阈值参数和所述多层神经网络中各层的运算参数，对所述多层神经网络进行更新以获得定点神经网络。根据本公开，可改善多层神经网络的整体性能及降低多层神经网络的整体计算成本。
-
-
-
公开(公告)号：CN111178491A
公开(公告)日：2020-05-19
申请号：CN201811331677.8
申请日：2018-11-09
Applicant: 佳能株式会社
IPC: G06N3/04
Abstract: 本发明提供一种神经网络模型的训练和应用方法、装置、系统及存储介质。所述训练方法包括：确定提供用于训练的信息的第一网络模型和待训练的第二网络模型；为第一网络模型中的至少一层设置降尺度层，其中，所述降尺度层的滤波器数量和滤波器核与第二网络模型中待训练的层的滤波器数量和滤波器核相同；将所述降尺度层的滤波器参数作为训练信息发送给所述第二网络模型。通过该训练方法，可在第一网络模型中用于训练的层的尺度与第二网络模型中的待训练的层的尺度不相同时也能进行训练，且丢失的数据量较少。
-
-
-
-
-
-
Search Results
7
records
(took 0.023 seconds)
