公开(公告)号：CN111967580B

公开(公告)日：2023-09-29

申请号：CN202010780010.7

申请日：2020-08-05

Applicant: 上海交通大学

Inventor： 张娅 ,  杜昆原 ,  王延峰

IPC: G06N3/0464 ,  G06N3/084 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明提供了一种基于迁移学习的低比特神经网络训练方法及系统，包括：低比特特征提取步骤：对训练数据集的图像，使用低比特深度卷积神经网络提取图像的低比特特征图；全精度特征提取步骤：对训练数据集的图像，使用全精度深度卷积神经网络提取图像的全精度特征图；特征对齐步骤：根据低比特特征图和全精度特征图，通过特征迁移，在特征对齐的约束下，协同训练全精度深度卷积神经网络和低比特深度卷积神经网络，使得低比特特征图和全精度特征图对齐；低比特预测步骤：根据训练后的低比特深度卷积神经网络实现图像类型的预测；本发明通过直接对连续空间的全精度特征图进行特征迁移，避免了因量化造成的特征细节损失。

公开(公告)号：CN112101524A

公开(公告)日：2020-12-18

申请号：CN202010929604.X

申请日：2020-09-07

Applicant: 上海交通大学

Inventor： 张娅 ,  杜昆原 ,  王延峰

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种可在线切换比特位宽的量化神经网络的方法及系统，包括：将不同比特位宽的深度神经网络整合到一个超网络中，所有比特位宽的网络共享同一个网络架构；超网络以不同的比特位宽运行，对于任意一个比特位宽，得到对应的网络中间层特征，每一个网络中间层特征采用相应的批归一化层进行处理；通过监督学习对超网络进行训练，在超网络训练阶段模拟量化噪声，直至低比特模式与高比特模式之间的一致性损失函数收敛，得到训练后的超网络；使用预设的量化器从训练后的超网络中抽取出目标比特位的量化神经网络进行低比特推理。本发明能够使神经网络在不进行再次训练的前提下，任意切换比特位宽，以适应不同的硬件部署环境。

公开(公告)号：CN111967580A

公开(公告)日：2020-11-20

申请号：CN202010780010.7

申请日：2020-08-05

Applicant: 上海交通大学

Inventor： 张娅 ,  杜昆原 ,  王延峰

IPC: G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本发明提供了一种基于迁移学习的低比特神经网络训练方法及系统，包括：低比特特征提取步骤：对训练数据集的图像，使用低比特深度卷积神经网络提取图像的低比特特征图；全精度特征提取步骤：对训练数据集的图像，使用全精度深度卷积神经网络提取图像的全精度特征图；特征对齐步骤：根据低比特特征图和全精度特征图，通过特征迁移，在特征对齐的约束下，协同训练全精度深度卷积神经网络和低比特深度卷积神经网络，使得低比特特征图和全精度特征图对齐；低比特预测步骤：根据训练后的低比特深度卷积神经网络实现图像类型的预测；本发明通过直接对连续空间的全精度特征图进行特征迁移，避免了因量化造成的特征细节损失。