公开(公告)号：CN111324860B

公开(公告)日：2024-01-23

申请号：CN202010086785.4

申请日：2020-02-11

Applicant: 无锡北邮感知技术产业研究院有限公司 ,  北京邮电大学

Inventor： 李斌 ,  陈沛鋆 ,  刘宏福 ,  赵成林 ,  许方敏

IPC: G06F17/16 ,  G06N3/0464 ,  G06N3/084 ,  G06N20/00

Abstract: 本发明提供一种基于随机矩阵逼近的轻量级CNN计算方法与装置，包括：对数据样本进行降维处理，得到数据样本的低维表征；对模型的权重参数进行降维处理，得到权重参数的低维权重表征；利用所述数据样本的低维表征和所述权重参数的低维权重表征进行CNN模型训练。本发明通过降低数据样本的数据量，降低网络的权重参数的数据量，利用降低维度之后的低维表征和低维权重表征进行CNN模型运算，能够降低模型运算的复杂度，降低模型运算所需存储资源和计算资源，能够在配置较低的终端设备上实现模型运算。

公开(公告)号：CN111340182A

公开(公告)日：2020-06-26

申请号：CN202010086794.3

申请日：2020-02-11

Applicant: 无锡北邮感知技术产业研究院有限公司 ,  北京邮电大学

Inventor： 李斌 ,  陈沛鋆 ,  刘宏福 ,  赵成林 ,  许方敏

IPC: G06N3/04 ,  G06N3/08 ,  G06K9/62 ,  G06N20/00

Abstract: 本发明提供一种输入特征逼近的低复杂度CNN训练方法与装置，包括：对数据样本进行降维处理，得到数据样本的低维表征；将所述低维表征作为用于训练模型的输入数据，训练CNN模型。本发明通过降低数据样本的维度，利用降低数据量后的数据样本的低维表征作为用于训练模型的输入数据，训练模型，能够降低CNN模型训练的复杂度，降低训练模型所需存储资源和计算资源，能够在配置较低的终端设备上实现模型相关运算，扩展应用场景。

公开(公告)号：CN111401513A

公开(公告)日：2020-07-10

申请号：CN202010086791.X

申请日：2020-02-11

Applicant: 北京邮电大学

Inventor： 李斌 ,  陈沛鋆 ,  刘宏福 ,  赵成林 ,  许方敏

IPC: G06N3/04 ,  G06N3/08 ,  G06F17/16

Abstract: 本说明书一个或多个实施例提供一种基于随机矩阵采样的轻量级深度学习方法与装置，在不牺牲神经网络性能的前提下，降低模型运算时间与空间复杂度，提高计算效率。所述基于随机矩阵采样的轻量级深度学习方法，包括：对神经网络层的高维权重矩阵进行降维处理，得到低维表征矩阵；在推理阶段，根据推理计算复杂度调整低维表征矩阵间乘法顺序；在训练阶段，根据误差矩阵对低维表征矩阵进行更新；对更新后低维表征矩阵进行重叠耦合与再更新变换，得到轻量级的权重矩阵。所述基于随机矩阵采样的轻量级深度学习装置，包括低维权重表征模块、前向推理模块、训练更新模块与权重校准模块。

公开(公告)号：CN111310895A

公开(公告)日：2020-06-19

申请号：CN202010086723.3

申请日：2020-02-11

Applicant: 北京邮电大学

Inventor： 李斌 ,  陈沛鋆 ,  刘宏福 ,  曹先彬 ,  赵成林

IPC: G06N3/04 ,  G06N3/08 ,  G06N5/04 ,  G06F17/16

Abstract: 本说明书一个或多个实施例提供一种输入特征分解的高效CNN推理方法与装置，能够解决推理计算复杂度高的问题。所述方法包括：利用卷积神经网络卷积层的权重张量对输入张量进行降维展开变换，得到过渡输入张量，对所述过渡输入张量进行行采样操作，得到行表征矩阵；根据所述行表征矩阵对所述过渡输入张量进行列采样操作，得到列表征矩阵；根据所述过渡输入张量、所述行表征矩阵与所述列表征矩阵，计算确定核心表征矩阵；调整所述行表征矩阵、所述列表征矩阵、所述核心表征矩阵与所述权重张量间的相乘顺序，使计算复杂度最低，根据相乘结果确定输出张量。所述装置包括行表征矩阵构建模块、列表征矩阵构建模块、核心表征矩阵构建模块与推理计算模块。

公开(公告)号：CN111340182B

公开(公告)日：2024-04-02

申请号：CN202010086794.3

申请日：2020-02-11

Applicant: 无锡北邮感知技术产业研究院有限公司 ,  北京邮电大学

Inventor： 李斌 ,  陈沛鋆 ,  刘宏福 ,  赵成林 ,  许方敏

IPC: G06N3/084 ,  G06N3/0464 ,  G06F18/213 ,  G06N3/048

Abstract: 本发明提供一种输入特征逼近的低复杂度CNN训练方法与装置，包括：对数据样本进行降维处理，得到数据样本的低维表征；将所述低维表征作为用于训练模型的输入数据，训练CNN模型。本发明通过降低数据样本的维度，利用降低数据量后的数据样本的低维表征作为用于训练模型的输入数据，训练模型，能够降低CNN模型训练的复杂度，降低训练模型所需存储资源和计算资源，能够在配置较低的终端设备上实现模型相关运算，扩展应用场景。

公开(公告)号：CN111324860A

公开(公告)日：2020-06-23

申请号：CN202010086785.4

申请日：2020-02-11

Applicant: 无锡北邮感知技术产业研究院有限公司 ,  北京邮电大学

Inventor： 李斌 ,  陈沛鋆 ,  刘宏福 ,  赵成林 ,  许方敏

IPC: G06F17/16 ,  G06N3/04 ,  G06N3/08 ,  G06N20/00

Abstract: 本发明提供一种基于随机矩阵逼近的轻量级CNN计算方法与装置，包括：对数据样本进行降维处理，得到数据样本的低维表征；对模型的权重参数进行降维处理，得到权重参数的低维权重表征；利用所述数据样本的低维表征和所述权重参数的低维权重表征进行CNN模型训练。本发明通过降低数据样本的数据量，降低网络的权重参数的数据量，利用降低维度之后的低维表征和低维权重表征进行CNN模型运算，能够降低模型运算的复杂度，降低模型运算所需存储资源和计算资源，能够在配置较低的终端设备上实现模型运算。