公开(公告)号：CN107644252A

公开(公告)日：2018-01-30

申请号：CN201710151828.0

申请日：2017-03-10

Applicant: 南京大学

Inventor： 王中风 ,  王智生 ,  林军

IPC: G06N3/08

Abstract: 本发明公开了一种多机制混合的递归神经网络模型压缩方法。方法包括：A、循环矩阵约束：将递归神经网络中部分参数矩阵限制为循环矩阵，并更新后向梯度传播算法使网络可以进行循环矩阵的批量训练；B、前向激活函数近似：前向运算时将非线性的激活函数替换为硬件友好的线性函数，后向梯度更新过程保持不变；C、混合量化：根据递归神经网络中不同参数对误差可容忍度的差异，针对不同参数采用不同的量化机制；D、二次训练机制：将网络模型的训练分为初始训练和重训练两个阶段，每个阶段侧重不同的模型压缩方法，很好地避免了不同模型压缩方法间的相互影响，最大程度上减少了模型压缩方法带来的精度损失。本发明通过灵活地运用多种模型压缩机制来压缩递归神经网络模型，可以大大减少模型参数，适用于需要使用递归神经网络的存储受限、低延迟嵌入式系统，具有很好的创新性和应用前景。

公开(公告)号：CN107633298A

公开(公告)日：2018-01-26

申请号：CN201710151781.8

申请日：2017-03-10

Applicant: 南京大学

Inventor： 王中风 ,  王智生 ,  林军

IPC: G06N3/063

Abstract: 本发明公开了一种基于模型压缩的递归神经网络加速器的硬件架构。硬件架构包含以下部分：矩阵乘加单元，用于实现神经网络中主要的矩阵向量乘法运算，该单元由多个乘加单元簇组成，每个乘加单元簇内包含多个由不同的基本乘加单元构成的乘加单元块，其数量直接决定加速器的并行度和吞吐率；多个双端片上静态随机存储器，其中有三个用于存储递归神经网络计算时产生的中间结果，并且有两个构成乒乓存储结构以提高数据存取效率，其余存储器用于存储神经网络的参数；多个非线性计算单元，用于实现神经网络中的非线性函数；控制单元，用于产生相关控制信号及控制数据流的流动。本发明可以实现很高的硬件效率，且可扩展性强，是一种可用于智能人机交互、机器人控制等相关领域嵌入式系统的合理方案。