公开(公告)号：CN119027704A

公开(公告)日：2024-11-26

申请号：CN202310582759.4

申请日：2023-05-23

Applicant: 上海交通大学

Inventor： 倪冰冰 ,  赵成龙 ,  李泽凡

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/46 ,  G06F17/13 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种基于梯度评估和增强系统的图像识别系统，包括：主干网络、权重梯度评估和修正模块和特征梯度增强模块，权重梯度评估和修正模块根据来自主干网络的原始权重梯度、历史权重梯度和参考权重梯度计算得到权重梯度的修正量，对网络权重梯度的梯度评估和梯度修正；特征梯度增强模块根据主干网络提取到的图像特征计算得到特征梯度增强数据后注入主干网络实现对网络特征梯度的优化和增强。本发明通过两个梯度优化模块，结合梯度的空间信息和时间信息，分别针对网络权重梯度和网络特征梯度进行梯度的评估和增强，能够有效地解决梯度消失和梯度爆炸等问题，提高网络的训练效率、性能和训练稳定。

公开(公告)号：CN108805286A

公开(公告)日：2018-11-13

申请号：CN201810604458.6

申请日：2018-06-12

Applicant: 上海交通大学

Inventor： 倪冰冰 ,  李泽凡

IPC: G06N3/08

Abstract: 本发明提供了一种基于高阶残留量化的高性能网络加速方法，包括：步骤S1，通过量化以及递归操作，得到一系列不同尺度的二进制输入数据；步骤S2，对不同尺度的二进制输入数据进行卷积运算，并对得到的运算结果进行结合。本发明是一种有效的准确的深度网络加速方法。引用了残差这个概念来表示信息损失并且递归地计算不同尺寸的量化后的输入数据的残差来减少信息损失。使用二值化权重和二值化输入，网络的大小减小为原来的1/32左右，并且把训练速度提高了30倍左右。本发明提出的方法还提供了在CPU上训练深度卷积网络的可能性。实验结果显示本发明提出的HORQ网络具有很好的分类效果和加速效果。