公开(公告)号：CN113570036B

公开(公告)日：2025-04-22

申请号：CN202110773900.X

申请日：2021-07-08

Applicant: 清华大学

Inventor： 刘勇攀 ,  汤宸 ,  袁竹清 ,  孙文钰 ,  杨华中

IPC: G06N3/0495 ,  G06N3/0464 ,  G06N3/063 ,  G06N3/08 ,  G06F15/78

Abstract: 本发明提供一种支持动态神经网络稀疏模型的硬件加速器架构，包括：程序系统端存储器存储的激活数据依次经过CPU和数据搬移模块，输入至第一核心模块；第一核心模块用于基于其预先存储的第一权重参数和激活数据，计算显著图并输出至所述第二核心模块；程序系统端存储器存储的激活数据和第二权重参数依次经过CPU和数据搬移模块，输入至第二核心模块；第二核心模块用于基于第二权重参数、激活数据和显著图计算模型结果，第一权重参数为显著图计算网络中的权重参数，第二权重参数为结合显著度的稀疏卷积网络的权重参数，第二权重参数基于预设时序多次分批输入第二核心模块。本发明提供的架构，实现了降低算法应用过程中计算耗时提高了效率。

公开(公告)号：CN118246489A

公开(公告)日：2024-06-25

申请号：CN202410367139.3

申请日：2024-03-28

Applicant: 清华大学

Inventor： 刘勇攀 ,  汤宸 ,  林新源 ,  黄宗乐 ,  孙文钰

IPC: G06N3/0455 ,  G06N3/063 ,  G06F17/16 ,  G06F7/52

Abstract: 本发明提供一种Transformer模型数据处理方法和加速处理器，方法应用于加速处理器，所述加速处理器包括多个计算核心，每个计算核心内均设置有：自编程查加器和乘累加计算单元；所述加速处理器处理的数据预先被分解为基向量矩阵和线性系数矩阵，并存储于存储器中；所述方法包括：所述自编程查加器对存储器中存储的基向量矩阵和被乘矩阵进行计算得到累和结果，并将所述累和结果输入至乘累加计算单元进行计算；所述乘累加计算单元对存储器中存储的线性系数矩阵和所述累和结果进行计算，得到基向量矩阵和线性系数矩阵与被乘矩阵的矩阵乘。通过本发明提供的方法，实现transformer模型的高效计算。

公开(公告)号：CN116306774A

公开(公告)日：2023-06-23

申请号：CN202310111429.7

申请日：2023-02-03

Applicant: 清华大学

Inventor： 刘勇攀 ,  封晓宇 ,  汤宸 ,  孙文钰

IPC: G06N3/04 ,  G06N5/04 ,  G06V10/26 ,  G06V10/82

Abstract: 本发明提供一种高能效点云神经网络推理方法和装置，依赖基于语义重要性预测的量化位宽分配算法实现点云神经网络的量化，由于引入了语义重要性预测，从而对语义关键点保留较高的量化位宽而对语义不关键点尽可能降低量化位宽，可保证量化后网络的最终精度不降低或者降低幅度非常微小的前提下大大降低网络的平均量化位宽。此外还利用点云数据集对量化的点云神经网络的精度和计算能效进行评估，在量化的点云神经网络的精度和计算能效其一达不到预期目标的情况下，重新量化点云神经网络，反复迭代以使精度和计算能效均达到预期目标。这样量化出的点云神经网络具有高推理能效。

公开(公告)号：CN116306708A

公开(公告)日：2023-06-23

申请号：CN202310118361.5

申请日：2023-02-10

Applicant: 清华大学

Inventor： 刘勇攀 ,  贾弘洋 ,  何以凡 ,  汤宸 ,  贾文彬

IPC: G06G7/14 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种存内计算装置及相关组件，该装置包括输入求和模块和与输入求和模块连接的N个输出模块，N为正整数；输入求和模块用于对输入数据进行求和，得到输入求和结果；输出模块，用于基于输入数据、输入求和结果和自身预存储的权重信息确定输出求和结果，权重信息为权重数据和权重数据的求和结果。通过本发明提供的存内计算装置，在进行神经网络计算特别是大规模计算时，基于输入数据、输入求和结果和自身预存储的权重信息只需要进行加法操作就能确定输出求和结果，可以显著降低网络计算的复杂度，具有数字逻辑面积和功耗开销小、高准确度、高精度和高可靠性的特点。

公开(公告)号：CN113570036A

公开(公告)日：2021-10-29

申请号：CN202110773900.X

申请日：2021-07-08

Applicant: 清华大学

Inventor： 刘勇攀 ,  汤宸 ,  袁竹清 ,  孙文钰 ,  杨华中

IPC: G06N3/04 ,  G06N3/063 ,  G06N3/08

Abstract: 本发明提供一种支持动态神经网络稀疏模型的硬件加速器架构，包括：程序系统端存储器存储的激活数据依次经过CPU和数据搬移模块，输入至第一核心模块；第一核心模块用于基于其预先存储的第一权重参数和激活数据，计算显著图并输出至所述第二核心模块；程序系统端存储器存储的激活数据和第二权重参数依次经过CPU和数据搬移模块，输入至第二核心模块；第二核心模块用于基于第二权重参数、激活数据和显著图计算模型结果，第一权重参数为显著图计算网络中的权重参数，第二权重参数为结合显著度的稀疏卷积网络的权重参数，第二权重参数基于预设时序多次分批输入第二核心模块。本发明提供的架构，实现了降低算法应用过程中计算耗时提高了效率。