公开(公告)号：CN113361700A

公开(公告)日：2021-09-07

申请号：CN202010142443.X

申请日：2020-03-04

Applicant: 佳能株式会社

Inventor： 刘俊杰 ,  陈则玮 ,  温东超 ,  陶玮 ,  汪德宇

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明公开一种生成量化神经网络的方法、装置、系统、存储介质及应用。所述方法包括：确定步骤，基于待量化的神经网络中的浮点权重，分别确定与所述浮点权重对应的、用于直接输出量化权重的网络；量化步骤，利用所确定的网络，对与其对应的浮点权重进行量化，以得到量化神经网络；以及更新步骤，基于经由所述量化神经网络得到的损失函数值，更新所述所确定的网络、所述浮点权重和所述量化神经网络中的量化权重。根据本公开，可解决神经网络量化过程中的梯度不匹配问题，从而能提高所生成的量化神经网络的性能。

公开(公告)号：CN112784978A

公开(公告)日：2021-05-11

申请号：CN201911086516.1

申请日：2019-11-08

Applicant: 佳能株式会社

Inventor： 汪德宇 ,  陈则玮 ,  温东超 ,  刘俊杰 ,  陶玮

IPC: G06N3/08

Abstract: 本发明公开一种训练神经网络的方法、装置和系统及存储指令的存储介质。在训练神经网络的方法中，神经网络包括第一神经网络和第二神经网络，第一神经网络的训练还未完成且第二神经网络的训练还未开始，对于当前的第一神经网络和当前的第二神经网络，该方法包括：将样本图像经由当前的第一神经网络得到第一输出，将样本图像经由当前的第二神经网络得到第二输出；以及，根据第一损失函数值更新当前的第一神经网络，根据第二损失函数值更新当前的第二神经网络，其中，第一损失函数值根据第一输出获得，第二损失函数值根据第一输出和第二输出获得。根据本公开，可改善第二神经网络的性能及减少第一神经网络和第二神经网络的整体训练时间。

公开(公告)号：CN112446487A

公开(公告)日：2021-03-05

申请号：CN201911115314.5

申请日：2019-11-14

Applicant: 佳能株式会社

Inventor： 刘俊杰 ,  陈则玮 ,  温东超 ,  陶玮 ,  汪德宇

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明提供一种神经网络模型的训练和应用方法、装置、系统及存储介质。所述训练方法包括：根据神经网络模型的训练迭代次数和计算精度确定约束阈值范围，将权重的梯度约束在所述约束阈值范围内，使得当由于量化误差导致低精度的权重的梯度出现畸变的时候，通过对梯度的约束，修正梯度出现的畸变，使训练后的网络模型能够达到预期的性能。

公开(公告)号：CN117454958A

公开(公告)日：2024-01-26

申请号：CN202210831698.6

申请日：2022-07-14

Applicant: 佳能株式会社

Inventor： 陶玮 ,  陈则玮 ,  汪德宇 ,  尹凌霄 ,  赵东悦

IPC: G06N3/082 ,  G06N3/0464

Abstract: 本发明提供一种神经网络模型的训练和应用方法、装置及存储介质。所述训练方法包括：在前向传递过程，对由连续实值表示的网络参数进行量化处理，并计算量化误差，在反向传递过程中，确定所述神经网络模型中的权重的梯度；基于计算的量化误差，对所述权重的梯度进行校正处理，其中，所述校正处理包括对梯度幅值的校正和对梯度方向的校正；以及根据校正的梯度，更新所述神经网络模型。

公开(公告)号：CN115131645A

公开(公告)日：2022-09-30

申请号：CN202110325842.4

申请日：2021-03-26

Applicant: 佳能株式会社

Inventor： 汪德宇 ,  陈则玮 ,  温东超 ,  陶玮 ,  尹凌霄

IPC: G06V10/82 ,  G06V40/16 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种神经网络的训练和应用方法、装置及存储介质。所述训练方法包括：获取步骤，针对至少一项任务，在神经网络中对样本图像进行处理后，获取处理结果及处理结果的损失函数的值；其中，所述神经网络包括至少一种网络结构；确定步骤，基于获取的损失函数的值确定其处理结果的重要度；调整步骤，基于确定的重要度调整用于获得损失函数的值的损失函数的权重；以及更新步骤，根据调整权重后的损失函数更新神经网络。

公开(公告)号：CN111382833A

公开(公告)日：2020-07-07

申请号：CN201811633954.0

申请日：2018-12-29

Applicant: 佳能株式会社

Inventor： 陶玮 ,  高红星 ,  陈则玮 ,  温东超 ,  刘俊杰

IPC: G06N3/04 ,  G06N3/06 ,  G06N3/08

Abstract: 本公开提供一种多层神经网络模型的训练和应用方法、装置及存储介质。对多层神经网络模型中的至少一个卷积层中的滤波器通道进行扩展，利用通道数扩展后的滤波器执行卷积运算，从而在简化网络模型的同时使网络模型的性能不下降。

公开(公告)号：CN111382832A

公开(公告)日：2020-07-07

申请号：CN201811631475.5

申请日：2018-12-29

Applicant: 佳能株式会社

Inventor： 高红星 ,  陶玮 ,  陈则玮 ,  温东超 ,  刘俊杰

IPC: G06N3/04 ,  G06N3/08

Abstract: 本公开提供一种多层神经网络模型的训练和应用方法、装置及存储介质。在所述多层神经网络模型的前向传播中，对输入特征图的数量进行扩展，利用扩展后的输入特征图进行数据运算。通过本公开的方案，有利于提高网络模型的精度，特别是有利于提高低比特网络模型的性能。

公开(公告)号：CN111178491A

公开(公告)日：2020-05-19

申请号：CN201811331677.8

申请日：2018-11-09

Applicant: 佳能株式会社

Inventor： 刘俊杰 ,  陈则玮 ,  温东超 ,  高红星 ,  陶玮

IPC: G06N3/04

Abstract: 本发明提供一种神经网络模型的训练和应用方法、装置、系统及存储介质。所述训练方法包括：确定提供用于训练的信息的第一网络模型和待训练的第二网络模型；为第一网络模型中的至少一层设置降尺度层，其中，所述降尺度层的滤波器数量和滤波器核与第二网络模型中待训练的层的滤波器数量和滤波器核相同；将所述降尺度层的滤波器参数作为训练信息发送给所述第二网络模型。通过该训练方法，可在第一网络模型中用于训练的层的尺度与第二网络模型中的待训练的层的尺度不相同时也能进行训练，且丢失的数据量较少。

公开(公告)号：CN109214240A

公开(公告)日：2019-01-15

申请号：CN201710531317.1

申请日：2017-07-03

Applicant: 佳能株式会社

Inventor： 陶玮 ,  乔智勇

IPC: G06K9/00

CPC classification number: G06K9/00463

Abstract: 本发明公开了文档图像处理的方法及装置。所述装置包括：获取单元，配置为获取文档图像中的初始文档区域；局部文档区域确定单元，配置为根据所述初始文档区域确定局部文档区域，其中，所述局部文档区域包含文档区域的实际边缘；线段检测单元，配置为检测所述局部文档区域中的线段；文档区域定位单元，配置为根据所述线段定位所述文档区域。与现有技术相比，文档区域的准确性可得到提高。

公开(公告)号：CN118196430A

公开(公告)日：2024-06-14

申请号：CN202211596803.9

申请日：2022-12-12

Applicant: 佳能株式会社

Inventor： 汪德宇 ,  陶玮 ,  陈则玮 ,  尹凌霄 ,  赵东悦

IPC: G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/084 ,  G06N5/04

Abstract: 本发明提供神经网络模型的训练和应用方法、装置、及存储介质。神经网络模型包括M个卷积层，其中M为大于等于1的整数，该方法包括：a)获取目标数据集、神经网络的M个卷积层中N个卷积层中每个卷积层的卷积核和每个卷积核的掩模，其中N为大于或等于1、并且小于或等于M的整数，其中，掩模与卷积核具有相同的空间形状；b)对目标数据集中的训练样本进行一次或多次迭代以训练神经网络和掩模，每次迭代包括：b1)根据神经网络的预测结果和掩模中的值，计算损失值；b2)根据损失值，计算神经网络参数的梯度和掩模的梯度；b3)根据神经网络参数的梯度和掩模的梯度，更新神经网络参数和掩模中的值；c)根据掩模中的更新值更新卷积核形状。