公开(公告)号：CN118609628A

公开(公告)日：2024-09-06

申请号：CN202410781014.5

申请日：2024-06-18

Applicant: 北京大学

Inventor： 杨玉超 ,  朱奕航 ,  陶耀宇 ,  荆兆坤

IPC: G11C13/00 ,  G06N3/0499

Abstract: 本发明公开了一种基于忆阻器的大模型存算一体加速方法及其适配的数据流处理方法，该方法将大模型内的庞大参数量，以分布式的方式卸载到忆阻器存算一体架构上，该架构将存储分为多个层次，存算一体模块、计算核心、单片和忆阻器阵列级别，以使用相同的架构承载不同的网络结构。在这一架构的基础上，本发明对以GPT‑3为例的大模型进行算子拆解，并设计数据流最大化并行利用硬件资源，达到大模型加速的效果。本发明公开了上述架构和数据流设计，填补了当前大模型硬件加速在基于忆阻器的存算一体系统上的架构空白和数据流空白，促进存算一体技术和大模型技术的进一步发展。

公开(公告)号：CN119065716A

公开(公告)日：2024-12-03

申请号：CN202311070464.5

申请日：2023-08-22

Applicant: 华为技术有限公司 ,  北京大学

Inventor： 杨玉超 ,  朱晓明 ,  陶耀宇 ,  朱奕航 ,  董伟伟 ,  王成旭 ,  谭海波

IPC: G06F9/30 ,  G06F8/41

Abstract: 本申请实施例公开了一种算子编译方法，用于实现存算一体架构的张量数据处理，提升存算一体架构的计算任务处理并行度。本申请实施例方法包括：获取编译算子，编译算子用于指示对源代码的编译规则。基于编译算子对源代码进行编译，得到一条或多条张量指令，张量指令用于执行存算一体系统中计算任务，张量指令包括以下一项或多项指令段：操作码、张量地址、数据类型、数据位宽和张量长度。将张量指令存储至指令存储列表，指令存储列表用于存储编译完成的张量指令。

公开(公告)号：CN119201037A

公开(公告)日：2024-12-27

申请号：CN202411249930.0

申请日：2024-09-06

Applicant: 北京大学

Inventor： 杨玉超 ,  朱奕航 ,  陶耀宇

IPC: G06F7/548 ,  G06F15/78

Abstract: 本发明提供一种基于忆阻器的三角函数实现方法，属于存算一体技术领域。本发明方法，首先基于cordic算法角度计算精度，对目标角度进行拆分，对拆分后的角度集系数进行分组，再按分组，在三角函数计算模块中进行迭代计算，且各组同步进行，最后汇总分组计算结果，在汇总三角函数计算模块中计算最终结果。本发明方法采用分组并行流水设计的三角函数存算一体计算架构及对应数据流，实现以cordic算法为基础的非线性函数计算任务，实现高精度三角函数计算，完善了三角函数硬件加速在存算一体领域的空白，促进存算一体技术和大模型技术的进一步发展。

公开(公告)号：CN119250140A

公开(公告)日：2025-01-03

申请号：CN202411276054.0

申请日：2024-09-12

Applicant: 北京大学

Inventor： 杨玉超 ,  李志远 ,  陶耀宇 ,  朱奕航 ,  蔡磊

IPC: G06N3/065 ,  G06N3/0464 ,  G06F17/16 ,  G06N5/04

Abstract: 本发明提供了一种基于忆阻器存内计算架构的卷积神经网络权重映射及像素级推理仿真的方法，对于任意卷积神经网络输入，使用映射方法将输入的卷积神经网络所有权重参数抽象成若干大小的矩形模型，并将其合理分割后，存入忆阻器阵列群中；使用仿真方法将神经网络推理流程划分为若干周期，并仿真出每个周期工作的忆阻器阵列序号及行列数、网络层的输出像素值、需要缓存及允许释放的像素规模，实现了像素级的网络全流水仿真。本发明适用于任意卷积神经网络，为片上缓存容量设计、忆阻器阵列间特征图流水设计等硬件实现提供重要依据，具有广阔的应用前景。