公开(公告)号：CN116029332A

公开(公告)日：2023-04-28

申请号：CN202310147794.3

申请日：2023-02-22

Applicant: 南京大学

Inventor： 林军 ,  周李鑫 ,  崔峻伟 ,  王中风

IPC: G06N3/0442 ,  G06N3/048 ,  G06N3/084 ,  G06N3/063

Abstract: 本申请提供一种基于LSTM网络的片上微调方法及装置，方法包括：根据LSTM网络模型的参数，生成计算参数；根据计算参数对输入值和权重值进行细粒度切分，以及生成指令集合；在神经网络处理器NPU读取指令集合；根据指令集合执行NPU片上计算，以生成中间值和LSTM网络输出值；将LSTM网络输出值传输至误差函数，并通过误差函数得到误差值；根据误差值，更新所述权重值以及偏置值；使用更新后的权重值以及偏置值反向传播，以根据指令集合执行新一轮NPU片上计算。本申请提供的方法通过CPU、NPU协同，将LSTM网络中的运算分工，以解决CPU、GPU无法快速高效的计算LSTM网络的问题。

公开(公告)号：CN117195982A

公开(公告)日：2023-12-08

申请号：CN202310030393.X

申请日：2023-01-09

Applicant: 南京大学

Inventor： 林军 ,  崔峻伟 ,  徐铭阳 ,  周李鑫 ,  王中风

IPC: G06N3/063 ,  G06N3/08

Abstract: 本申请提供一种基于存储访问的可编程神经网络推理加速器及方法，所述神经网络推理加速器包括数据加载模块、指令分发模块、数据运算模块、数据写回模块以及片上存储单元阵列，其中，数据加载模块、数据运算模块和数据写回模块均与片上存储单元阵列发生单向或双向的数据读写，通过指令分发模块将片外加载的指令分发至其余模块，并控制其余模块执行或并行执行相应的任务，以完成神经网络部署。所述方法可以将运算模块和数据取用模块进行解耦，通过单指令多周期强制同步的方式，利用生成的指令对模块访问存储进行控制，从而将数据的依赖关系从模块之间转移到所控制的存储地址上，增强加速器的可编程性和通用性。

公开(公告)号：CN116029332B

公开(公告)日：2023-08-22

申请号：CN202310147794.3

申请日：2023-02-22

Applicant: 南京大学

Inventor： 林军 ,  周李鑫 ,  崔峻伟 ,  王中风

IPC: G06N3/0442 ,  G06N3/048 ,  G06N3/084 ,  G06N3/063

Abstract: 本申请提供一种基于LSTM网络的片上微调方法及装置，方法包括：根据LSTM网络模型的参数，生成计算参数；根据计算参数对输入值和权重值进行细粒度切分，以及生成指令集合；在神经网络处理器NPU读取指令集合；根据指令集合执行NPU片上计算，以生成中间值和LSTM网络输出值；将LSTM网络输出值传输至误差函数，并通过误差函数得到误差值；根据误差值，更新所述权重值以及偏置值；使用更新后的权重值以及偏置值反向传播，以根据指令集合执行新一轮NPU片上计算。本申请提供的方法通过CPU、NPU协同，将LSTM网络中的运算分工，以解决CPU、GPU无法快速高效的计算LSTM网络的问题。