公开(公告)号：CN118350455A

公开(公告)日：2024-07-16

申请号：CN202410275577.7

申请日：2024-03-12

Applicant: 南京大学

Inventor： 林军 ,  崔峻伟 ,  马玮泽

IPC: G06N3/10 ,  G06N3/063 ,  G06F8/41

Abstract: 本申请提供一种重编译系统及神经网络推理加速器，所述重编译系统包括：接收模块，接收模块被配置为接收串行指令；重分配模块，重分配模块被配置为基于串行指令获取串行指令在静态存储器中的占用情况，判断是否存在空闲的静态存储器端口，若是，则将串行指令分配至空闲的静态存储器端口中，生成端口重分配指令；并发模块，并发模块被配置为基于端口重分配指令，获取端口重分配指令的指令并发形式，生成并发指令；确定模块，确定模块被配置为将并发指令输入至硬件仿真器或硬件平台上运行，根据预设任务信息确定目标并发指令，以解决目前的神经网络推理加速器中多模块的同步工作对算子开发人员极不友好，存在端口冲突、数据竞争冒险的问题。

公开(公告)号：CN116029332A

公开(公告)日：2023-04-28

申请号：CN202310147794.3

申请日：2023-02-22

Applicant: 南京大学

Inventor： 林军 ,  周李鑫 ,  崔峻伟 ,  王中风

IPC: G06N3/0442 ,  G06N3/048 ,  G06N3/084 ,  G06N3/063

Abstract: 本申请提供一种基于LSTM网络的片上微调方法及装置，方法包括：根据LSTM网络模型的参数，生成计算参数；根据计算参数对输入值和权重值进行细粒度切分，以及生成指令集合；在神经网络处理器NPU读取指令集合；根据指令集合执行NPU片上计算，以生成中间值和LSTM网络输出值；将LSTM网络输出值传输至误差函数，并通过误差函数得到误差值；根据误差值，更新所述权重值以及偏置值；使用更新后的权重值以及偏置值反向传播，以根据指令集合执行新一轮NPU片上计算。本申请提供的方法通过CPU、NPU协同，将LSTM网络中的运算分工，以解决CPU、GPU无法快速高效的计算LSTM网络的问题。

公开(公告)号：CN117195982A

公开(公告)日：2023-12-08

申请号：CN202310030393.X

申请日：2023-01-09

Applicant: 南京大学

Inventor： 林军 ,  崔峻伟 ,  徐铭阳 ,  周李鑫 ,  王中风

IPC: G06N3/063 ,  G06N3/08

Abstract: 本申请提供一种基于存储访问的可编程神经网络推理加速器及方法，所述神经网络推理加速器包括数据加载模块、指令分发模块、数据运算模块、数据写回模块以及片上存储单元阵列，其中，数据加载模块、数据运算模块和数据写回模块均与片上存储单元阵列发生单向或双向的数据读写，通过指令分发模块将片外加载的指令分发至其余模块，并控制其余模块执行或并行执行相应的任务，以完成神经网络部署。所述方法可以将运算模块和数据取用模块进行解耦，通过单指令多周期强制同步的方式，利用生成的指令对模块访问存储进行控制，从而将数据的依赖关系从模块之间转移到所控制的存储地址上，增强加速器的可编程性和通用性。

公开(公告)号：CN116029332B

公开(公告)日：2023-08-22

申请号：CN202310147794.3

申请日：2023-02-22

Applicant: 南京大学

Inventor： 林军 ,  周李鑫 ,  崔峻伟 ,  王中风

IPC: G06N3/0442 ,  G06N3/048 ,  G06N3/084 ,  G06N3/063

Abstract: 本申请提供一种基于LSTM网络的片上微调方法及装置，方法包括：根据LSTM网络模型的参数，生成计算参数；根据计算参数对输入值和权重值进行细粒度切分，以及生成指令集合；在神经网络处理器NPU读取指令集合；根据指令集合执行NPU片上计算，以生成中间值和LSTM网络输出值；将LSTM网络输出值传输至误差函数，并通过误差函数得到误差值；根据误差值，更新所述权重值以及偏置值；使用更新后的权重值以及偏置值反向传播，以根据指令集合执行新一轮NPU片上计算。本申请提供的方法通过CPU、NPU协同，将LSTM网络中的运算分工，以解决CPU、GPU无法快速高效的计算LSTM网络的问题。