-
公开(公告)号:CN112784978A
公开(公告)日:2021-05-11
申请号:CN201911086516.1
申请日:2019-11-08
Applicant: 佳能株式会社
IPC: G06N3/08
Abstract: 本发明公开一种训练神经网络的方法、装置和系统及存储指令的存储介质。在训练神经网络的方法中,神经网络包括第一神经网络和第二神经网络,第一神经网络的训练还未完成且第二神经网络的训练还未开始,对于当前的第一神经网络和当前的第二神经网络,该方法包括:将样本图像经由当前的第一神经网络得到第一输出,将样本图像经由当前的第二神经网络得到第二输出;以及,根据第一损失函数值更新当前的第一神经网络,根据第二损失函数值更新当前的第二神经网络,其中,第一损失函数值根据第一输出获得,第二损失函数值根据第一输出和第二输出获得。根据本公开,可改善第二神经网络的性能及减少第一神经网络和第二神经网络的整体训练时间。
-
公开(公告)号:CN112446487A
公开(公告)日:2021-03-05
申请号:CN201911115314.5
申请日:2019-11-14
Applicant: 佳能株式会社
Abstract: 本发明提供一种神经网络模型的训练和应用方法、装置、系统及存储介质。所述训练方法包括:根据神经网络模型的训练迭代次数和计算精度确定约束阈值范围,将权重的梯度约束在所述约束阈值范围内,使得当由于量化误差导致低精度的权重的梯度出现畸变的时候,通过对梯度的约束,修正梯度出现的畸变,使训练后的网络模型能够达到预期的性能。
-
公开(公告)号:CN117454958A
公开(公告)日:2024-01-26
申请号:CN202210831698.6
申请日:2022-07-14
Applicant: 佳能株式会社
IPC: G06N3/082 , G06N3/0464
Abstract: 本发明提供一种神经网络模型的训练和应用方法、装置及存储介质。所述训练方法包括:在前向传递过程,对由连续实值表示的网络参数进行量化处理,并计算量化误差,在反向传递过程中,确定所述神经网络模型中的权重的梯度;基于计算的量化误差,对所述权重的梯度进行校正处理,其中,所述校正处理包括对梯度幅值的校正和对梯度方向的校正;以及根据校正的梯度,更新所述神经网络模型。
-
公开(公告)号:CN115131645A
公开(公告)日:2022-09-30
申请号:CN202110325842.4
申请日:2021-03-26
Applicant: 佳能株式会社
Abstract: 本发明提供一种神经网络的训练和应用方法、装置及存储介质。所述训练方法包括:获取步骤,针对至少一项任务,在神经网络中对样本图像进行处理后,获取处理结果及处理结果的损失函数的值;其中,所述神经网络包括至少一种网络结构;确定步骤,基于获取的损失函数的值确定其处理结果的重要度;调整步骤,基于确定的重要度调整用于获得损失函数的值的损失函数的权重;以及更新步骤,根据调整权重后的损失函数更新神经网络。
-
公开(公告)号:CN118196430A
公开(公告)日:2024-06-14
申请号:CN202211596803.9
申请日:2022-12-12
Applicant: 佳能株式会社
IPC: G06V10/44 , G06V10/764 , G06V10/82 , G06V10/80 , G06N3/0464 , G06N3/0499 , G06N3/084 , G06N5/04
Abstract: 本发明提供神经网络模型的训练和应用方法、装置、及存储介质。神经网络模型包括M个卷积层,其中M为大于等于1的整数,该方法包括:a)获取目标数据集、神经网络的M个卷积层中N个卷积层中每个卷积层的卷积核和每个卷积核的掩模,其中N为大于或等于1、并且小于或等于M的整数,其中,掩模与卷积核具有相同的空间形状;b)对目标数据集中的训练样本进行一次或多次迭代以训练神经网络和掩模,每次迭代包括:b1)根据神经网络的预测结果和掩模中的值,计算损失值;b2)根据损失值,计算神经网络参数的梯度和掩模的梯度;b3)根据神经网络参数的梯度和掩模的梯度,更新神经网络参数和掩模中的值;c)根据掩模中的更新值更新卷积核形状。
-
公开(公告)号:CN115082978A
公开(公告)日:2022-09-20
申请号:CN202110262393.3
申请日:2021-03-10
Applicant: 佳能株式会社
Abstract: 本公开公开一种面部姿态的检测装置、方法、图像处理系统及存储介质。所述检测装置包括:获得单元,基于预先生成的神经网络,从输入图像中获得至少一个面部的至少3个关键点,其中,经由神经网络中用于得到坐标的层所得到的关键点的坐标均为三维坐标;以及,确定单元,针对所述至少一个面部,基于获得的关键点确定该面部的姿态,其中,确定的面部姿态至少包括一个角度。根据本公开,可提高面部关键点的三维坐标的准确性,从而可提高面部姿态的检测精度。
-
公开(公告)号:CN113537447A
公开(公告)日:2021-10-22
申请号:CN202010312882.0
申请日:2020-04-20
Applicant: 佳能株式会社
Abstract: 本发明公开一种多层神经网络的生成方法、装置、应用方法及存储介质。所述生成方法包括:获取步骤,获取多层神经网络,其中,所述多层神经网络至少包括卷积层和量化层;生成步骤,针对所述多层神经网络中的各量化层,基于该量化层中的量化比特参数和可学习的量化区间参数,生成量化阈值参数;以及更新步骤,基于所生成的量化阈值参数和所述多层神经网络中各层的运算参数,对所述多层神经网络进行更新以获得定点神经网络。根据本公开,可改善多层神经网络的整体性能及降低多层神经网络的整体计算成本。
-
公开(公告)号:CN113361700A
公开(公告)日:2021-09-07
申请号:CN202010142443.X
申请日:2020-03-04
Applicant: 佳能株式会社
Abstract: 本发明公开一种生成量化神经网络的方法、装置、系统、存储介质及应用。所述方法包括:确定步骤,基于待量化的神经网络中的浮点权重,分别确定与所述浮点权重对应的、用于直接输出量化权重的网络;量化步骤,利用所确定的网络,对与其对应的浮点权重进行量化,以得到量化神经网络;以及更新步骤,基于经由所述量化神经网络得到的损失函数值,更新所述所确定的网络、所述浮点权重和所述量化神经网络中的量化权重。根据本公开,可解决神经网络量化过程中的梯度不匹配问题,从而能提高所生成的量化神经网络的性能。
-
公开(公告)号:CN111428535A
公开(公告)日:2020-07-17
申请号:CN201910018399.9
申请日:2019-01-09
Applicant: 佳能株式会社
IPC: G06K9/00
Abstract: 本发明公开了一种图像处理装置和方法及图像处理系统。所述图像处理装置包括:从一段视频的视频帧中提取特征的单元;对于非初始视频帧,相对于在其前一视频帧中所检测到的对象的对象信息,确定对象在相应的非初始视频帧中的参考信息的单元;以及,基于所述特征从初始视频帧中检测对象且基于所述特征及所确定的参考信息从非初始视频帧中检测对象的单元。根据本发明,可减少对象检测处理的处理时间,进而可更好地满足视频中对象检测的实时性要求。
-
-
-
-
-
-
-
-