公开(公告)号：CN118605890B

公开(公告)日：2024-10-25

申请号：CN202411075653.6

申请日：2024-08-07

Applicant: 南湖实验室

Inventor： 何锡浩 ,  张佳威 ,  齐亮 ,  李想 ,  宋玥 ,  张雯

IPC: G06F8/60 ,  G06F9/48 ,  G06F9/50

Abstract: 本方案公开了一种针对支持算子层面操作的AI芯片的自动量化部署方法及系统，包括，对中间格式的待部署模型进行自动量化和部署：生成包含NHNN框架和NHNN权重的NHNN模型；根据NHNN框架中记录的信息构建目标芯片的嵌入式系统所能识别的模型，并将量化后的NHNN权重导入至目标板卡，完成模型部署。本方案可将其他任意框架下的AI模型事先通过一般方式转换为中间格式，然后根据中间格式生成待部署模型的NHNN模型，如此，只需要根据NHNN框架构建目标芯片能够识别的模型，连同NHNN权重导入即可完成部署，能够简化开发人员向HC3080等此类芯片部署AI模型的成本，简化开发流程。

公开(公告)号：CN118605890A

公开(公告)日：2024-09-06

申请号：CN202411075653.6

申请日：2024-08-07

Applicant: 南湖实验室

Inventor： 何锡浩 ,  张佳威 ,  齐亮 ,  李想 ,  宋玥 ,  张雯

IPC: G06F8/60 ,  G06F9/48 ,  G06F9/50

Abstract: 本方案公开了一种针对支持算子层面操作的AI芯片的自动量化部署方法及系统，包括，对中间格式的待部署模型进行自动量化和部署：生成包含NHNN框架和NHNN权重的NHNN模型；根据NHNN框架中记录的信息构建目标芯片的嵌入式系统所能识别的模型，并将量化后的NHNN权重导入至目标板卡，完成模型部署。本方案可将其他任意框架下的AI模型事先通过一般方式转换为中间格式，然后根据中间格式生成待部署模型的NHNN模型，如此，只需要根据NHNN框架构建目标芯片能够识别的模型，连同NHNN权重导入即可完成部署，能够简化开发人员向HC3080等此类芯片部署AI模型的成本，简化开发流程。