Patent search ap:("哈尔滨工业大学(威海)") AND inv:"许崇云" Page 1

1.

发明公开
一种面向嵌入式移动设备的深度神经网络压缩方法无效

公开(公告)号：CN110619392A

公开(公告)日：2019-12-27

申请号：CN201910889065.9

申请日：2019-09-19

Applicant: 哈尔滨工业大学(威海)

Inventor： 李春山 , 许崇云 , 初佃辉

IPC: G06N3/08 , G06N3/04

Abstract: 本发明公开了一种面向嵌入式移动设备的深度神经网络压缩方法，包括以下步骤：权值截断；通过整流器构建一个神经网络，在神经网络中先随机生成模型的参数值；权值舍入；将实值权重w四舍五入；保留存储指数权重的指数部分；压缩模型的前向传播和后向传播；缩放输入信号；缩放每个批量标准化层的输出；哈夫曼编码压缩；使用哈夫曼编码来进行一步压缩，即完成了对深度神经网络的压缩。本发明以指数去逼近深度神经网络中的权值，并使用短整数将指数的幂使用短整型存储起来，可以减少3倍的参数存储空间；使用哈夫曼编码来进一步压缩模型参数，最终可以达到10-13倍的模型压缩率；使用位运算中的右移操作消除了大部分的乘法，提升模型运行效率。

Patent Agency Ranking