-
公开(公告)号：CN107798385A
公开(公告)日：2018-03-13
申请号：CN201711290493.7
申请日：2017-12-08
Applicant: 电子科技大学
IPC: G06N3/08
Abstract: 本发明公开一种基于块张量分解的循环神经网络稀疏连接方法，应用于深度学习神经网络结构优化领域，解决现有的方法未能同时基于输入数据的高维事实和全连接本身的冗余特性进行分析和优化，从而不能同时达到加快训练速度和维持或提高模型精度的问题；本发明的方法考虑到深度网络中全连接层的稀疏性，引入了张量分解思想，提升了网络参数共享程度，并利用BPTT进行模型训练，适应于目前深度网络绝大部分的应用场景；相比于已有的全连接方式，本发明方法在训练速度，收敛精度上有较大的提升。
-
公开(公告)号：CN107798385B
公开(公告)日：2020-03-17
申请号：CN201711290493.7
申请日：2017-12-08
Applicant: 电子科技大学
IPC: G06N3/08
Abstract: 本发明公开一种基于块张量分解的循环神经网络稀疏连接方法，应用于深度学习神经网络结构优化领域，解决现有的方法未能同时基于输入数据的高维事实和全连接本身的冗余特性进行分析和优化，从而不能同时达到加快训练速度和维持或提高模型精度的问题；本发明的方法考虑到深度网络中全连接层的稀疏性，引入了张量分解思想，提升了网络参数共享程度，并利用BPTT进行模型训练，适应于目前深度网络绝大部分的应用场景；相比于已有的全连接方式，本发明方法在训练速度，收敛精度上有较大的提升。
-
公开(公告)号：CN107944556B
公开(公告)日：2020-09-08
申请号：CN201711319853.1
申请日：2017-12-12
Applicant: 电子科技大学
Abstract: 本发明公开了一种基于块项张量分解的深度神经网络压缩方法。其包括获取深度神经网络框架，将权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X，对高阶张量W进行块项张量分解处理，将深度神经网络的全连接层替换为块项张量层，采用后向传播算法对步骤D中替换后的深度神经网络进行训练。本发明采用块项张量分解方法来构造块项张量层，以替换原始深度神经网络中的全连接层，利用块项张量层具有的“对称”和“指数表达能力”的特性，不仅能够大幅压缩全连接层的参数量还能够保持原网络的分类精度。
-
公开(公告)号：CN107944556A
公开(公告)日：2018-04-20
申请号：CN201711319853.1
申请日：2017-12-12
Applicant: 电子科技大学
Abstract: 本发明公开了一种基于块项张量分解的深度神经网络压缩方法。其包括获取深度神经网络框架，将权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X，对高阶张量W进行块项张量分解处理，将深度神经网络的全连接层替换为块项张量层，采用后向传播算法对步骤D中替换后的深度神经网络进行训练。本发明采用块项张量分解方法来构造块项张量层，以替换原始深度神经网络中的全连接层，利用块项张量层具有的“对称”和“指数表达能力”的特性，不仅能够大幅压缩全连接层的参数量还能够保持原网络的分类精度。
-
-
-
Search Results
4
records
(took 0.019 seconds)
