公开(公告)号：CN119761435A

公开(公告)日：2025-04-04

申请号：CN202411815464.8

申请日：2024-12-11

Applicant: 北京邮电大学

Inventor： 郑霄龙 ,  刘亮 ,  马华东 ,  任志源 ,  褚昊霖

IPC: G06N3/063 ,  G06N3/0464

Abstract: 本发明提供一种在模拟存内计算NPU中部署神经网络的方法和电子设备，所述方法包括：多个存储单元组成内存条，ACiM根据输入通道数以内存条为单位排列存储权重的存储区域，该方法包括：重塑用于部署神经网络的算子的权重，选择预设数量的输入通道的权重穿插到其他输入通道中；其中，所述算子的类型为计算密集型；在模拟存内计算NPU中部署神经网络，同时保持NPU中的存储单元的边界以2N字节为单位进行变化，并保持权重大小的设置遵循NPU所属硬件的内存条边界2M字节；其中，N∈[1，X]，M∈[1，Y]，X、Y属于正整数。发明能够达到优选的在模拟存内计算NPU中部署神经网络的效果。

公开(公告)号：CN119597470A

公开(公告)日：2025-03-11

申请号：CN202411657159.0

申请日：2024-11-19

Applicant: 北京邮电大学

Inventor： 刘亮 ,  郑霄龙 ,  马华东 ,  信海腾 ,  褚昊霖

IPC: G06F9/50 ,  G06N5/04 ,  G06F9/48

Abstract: 本发明提供一种面向嵌入式RTOS的内存动态自适应DNN推理方法及系统，包括：在离线阶段，解析模型的计算图结构，识别特定算子序列并融合为新算子；预先计算各算子推理时所需的参数；对模型中所有张量矫正，去除冗余张量；根据各算子执行顺序，为每个张量分配内存，计算每个张量相对于内存块起始位置的偏移量；各算子选择内核后生成模型代码；在在线阶段，根据生成的模型代码，基于行部分加载机制，为各算子计算过程中产生的中间张量分配中间内存，使用轻量级算法，根据可用内存大小计算每个中间张量相对于中间内存块起始位置的偏移量，实现模型推理。本发明能够在极度受限且动态变化的内存资源条件下，自动调整深度神经网络推理任务的内存占用大小。