公开(公告)号：CN117454958A

公开(公告)日：2024-01-26

申请号：CN202210831698.6

申请日：2022-07-14

Applicant: 佳能株式会社

Inventor： 陶玮 ,  陈则玮 ,  汪德宇 ,  尹凌霄 ,  赵东悦

IPC: G06N3/082 ,  G06N3/0464

Abstract: 本发明提供一种神经网络模型的训练和应用方法、装置及存储介质。所述训练方法包括：在前向传递过程，对由连续实值表示的网络参数进行量化处理，并计算量化误差，在反向传递过程中，确定所述神经网络模型中的权重的梯度；基于计算的量化误差，对所述权重的梯度进行校正处理，其中，所述校正处理包括对梯度幅值的校正和对梯度方向的校正；以及根据校正的梯度，更新所述神经网络模型。

公开(公告)号：CN115131645A

公开(公告)日：2022-09-30

申请号：CN202110325842.4

申请日：2021-03-26

Applicant: 佳能株式会社

Inventor： 汪德宇 ,  陈则玮 ,  温东超 ,  陶玮 ,  尹凌霄

IPC: G06V10/82 ,  G06V40/16 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种神经网络的训练和应用方法、装置及存储介质。所述训练方法包括：获取步骤，针对至少一项任务，在神经网络中对样本图像进行处理后，获取处理结果及处理结果的损失函数的值；其中，所述神经网络包括至少一种网络结构；确定步骤，基于获取的损失函数的值确定其处理结果的重要度；调整步骤，基于确定的重要度调整用于获得损失函数的值的损失函数的权重；以及更新步骤，根据调整权重后的损失函数更新神经网络。

公开(公告)号：CN118196430A

公开(公告)日：2024-06-14

申请号：CN202211596803.9

申请日：2022-12-12

Applicant: 佳能株式会社

Inventor： 汪德宇 ,  陶玮 ,  陈则玮 ,  尹凌霄 ,  赵东悦

IPC: G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/084 ,  G06N5/04

Abstract: 本发明提供神经网络模型的训练和应用方法、装置、及存储介质。神经网络模型包括M个卷积层，其中M为大于等于1的整数，该方法包括：a)获取目标数据集、神经网络的M个卷积层中N个卷积层中每个卷积层的卷积核和每个卷积核的掩模，其中N为大于或等于1、并且小于或等于M的整数，其中，掩模与卷积核具有相同的空间形状；b)对目标数据集中的训练样本进行一次或多次迭代以训练神经网络和掩模，每次迭代包括：b1)根据神经网络的预测结果和掩模中的值，计算损失值；b2)根据损失值，计算神经网络参数的梯度和掩模的梯度；b3)根据神经网络参数的梯度和掩模的梯度，更新神经网络参数和掩模中的值；c)根据掩模中的更新值更新卷积核形状。