公开(公告)号：CN116152628A

公开(公告)日：2023-05-23

申请号：CN202310147535.0

申请日：2023-02-21

Applicant: 西安微电子技术研究所

Inventor： 杨婧 ,  龙欣荣 ,  马钟 ,  李申 ,  杨遵铭

IPC: G06V10/82 ,  G06V10/94 ,  G06F9/48

Abstract: 本发明公开了一种神经网络模型自动流水并行加速方法，包括以下过程：将神经网络计算任务划分为输入图像预处理阶段、神经网络计算阶段和后处理阶段；依据多线程管理机制创建预处理线程、神经网络计算线程和后处理线程；将预处理线程与输入图像预处理阶段绑定，将神经网络计算线程与神经网络计算阶段绑定，将后处理线程与后处理阶段绑定；利用流水设计方法进行神经网络计算任务中输入图像预处理阶段、神经网络计算阶段和后处理阶段的并行执行。该方法实现了在无需专业知识前提下快速完成基于异构计算平台的神经网络模型自动流水并行加速设计，在大幅提高神经网络计算系统的吞吐量的同时，有效提升异构计算平台智能处理能力。

公开(公告)号：CN117035011A

公开(公告)日：2023-11-10

申请号：CN202310850398.7

申请日：2023-07-11

Applicant: 西安微电子技术研究所

Inventor： 王月娇 ,  马钟 ,  龙欣荣 ,  杨遵铭

IPC: G06N3/0442 ,  G06N3/08 ,  G06N3/06

Abstract: 本发明涉及人工智能领域，尤其涉及一种在嵌入式神经网络加速器中量化部署LSTM算子的方法及系统，包括以下步骤：Step 1，根据层类型支配的LSTM算子分离方法，将LSTM的计算流程分离为嵌入式神经网络加速器支持的多个基础神经网络算子的有序组合；Step 2，构成待量化模型；Step 3，设置量化校准集，采用均匀‑对称量化策略在衔接后的待量化模型上逐层生成量化参数；Step 4，在嵌入式神经网络加速器中，将量化参数作为指导文件，完成嵌入式平台的量化部署。本发明打破了现有部署于嵌入式平台的量化方法仅能支持具备传统层类型的模型结构的局限，具有智能性和普适性，可以解决现有计算平台无法直接计算LSTM的难题，在未来的嵌入式平台添加新型算子方面具有应用潜力。