公开(公告)号：CN114970853B

公开(公告)日：2024-09-06

申请号：CN202210260332.8

申请日：2022-03-16

Applicant: 华南理工大学 ,  中山市华南理工大学现代产业技术研究院

Inventor： 邢晓芬 ,  杨弈才 ,  郭锴凌 ,  徐向民

IPC: G06N3/0495 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种跨范围量化的卷积神经网络压缩方法，包括以下步骤：确定量化卷积神经网络的量化比特和该量化比特下的量化范围，以及基于步长量化的量化函数；训练一个全精度卷积神经网络，并使用全精度卷积神经网络初始化量化卷积神经网络以及量化步长；前向传播阶段，对卷积神经网络的权重参数以及激活值进行量化，对于量化阈值范围内的值，采取常规量化方式；对于量化阈值范围外的值，先减去量化阈值，再进行常规量化；反向传播阶段，使用梯度近似让不可导的量化函数变为可导。本发明在常规量化的基础上对量化范围外的值采取了不同的量化方式，在保留图像识别精度的同时，实现了卷积神经网络的压缩和加速。

公开(公告)号：CN114970853A

公开(公告)日：2022-08-30

申请号：CN202210260332.8

申请日：2022-03-16

Applicant: 华南理工大学 ,  中山市华南理工大学现代产业技术研究院

Inventor： 邢晓芬 ,  杨弈才 ,  郭锴凌 ,  徐向民

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种跨范围量化的卷积神经网络压缩方法，包括以下步骤：确定量化卷积神经网络的量化比特和该量化比特下的量化范围，以及基于步长量化的量化函数；训练一个全精度卷积神经网络，并使用全精度卷积神经网络初始化量化卷积神经网络以及量化步长；前向传播阶段，对卷积神经网络的权重参数以及激活值进行量化，对于量化阈值范围内的值，采取常规量化方式；对于量化阈值范围外的值，先减去量化阈值，再进行常规量化；反向传播阶段，使用梯度近似让不可导的量化函数变为可导。本发明在常规量化的基础上对量化范围外的值采取了不同的量化方式，在保留图像识别精度的同时，实现了卷积神经网络的压缩和加速。

公开(公告)号：CN113076663A

公开(公告)日：2021-07-06

申请号：CN202110491111.7

申请日：2021-05-06

Applicant: 华南理工大学

Inventor： 郭锴凌 ,  杨弈才 ,  徐向民 ,  邢晓芬

IPC: G06F30/20

Abstract: 本发明公开了一种动态混合精度模型构建方法及系统，涉及深度神经网络技术。针对现有技术中可转换的状态数量及精度问题提出本方案，特点在于根据全精度模型中不同块的参数的海森矩阵的平均迹以及可选参数精度表S构建混合精度状态转换表；并在训练过程中采用每次训练迭代随机采样数个混合精度子模型，用改进的量化函数进行量化操作，得到混合精度模型；根据实际部署需求组成混合比特部署状态表进行实际部署。优点在于，利用海森矩阵平均迹和随机采样，减少了训练所需的搜索空间与计算量，同时改进的量化函数可以在不同量化比特间直接迁移且量化误差小，使得混合精度模型可以自适应地部署在较低比特的情景，同时在较高比特情景的精度亦有改善。

公开(公告)号：CN109919025A

公开(公告)日：2019-06-21

申请号：CN201910089785.7

申请日：2019-01-30

Applicant: 华南理工大学

Inventor： 黄双萍 ,  伍思航 ,  杨弈才 ,  伍冠中

IPC: G06K9/00 ,  G06K9/62

Abstract: 本发明公开了一种基于深度学习的视频场景文本检测方法、系统、设备及介质，所述方法包括：获取静态自然场景文本图像数据；对静态自然场景文本图像数据进行预处理，得到预处理场景文本图像数据；构建基于回归的端到端深度卷积神经网络模型；使用预处理场景文本图像数据对深度卷积神经网络模型进行优化训练；利用训练后的深度卷积神经网络模型进行视频场景文本检测。本发明采用计算机视觉中基于深度学习的检测方法，通过设计高效的基于回归的端到端深度卷积神经网络模型，可以快速并且实时准确地获取视频中的场景文本，能够为后续文字识别等任务提供基础，对视频语义理解、字幕翻译、治安监控安防、无人机飞行、自动驾驶等场景有着重要的应用。