基于混合精度计算阵列的Transformer加速器

    公开(公告)号:CN119990209A

    公开(公告)日:2025-05-13

    申请号:CN202510063829.4

    申请日:2025-01-15

    Applicant: 复旦大学

    Abstract: 本发明提供了一种基于混合精度计算阵列的Transformer加速器,包括:输入存储器、顶层控制器、后处理单元,以及混合精度计算阵列,混合精度计算阵列中包含多个处理单元,处理单元用于计算乘累加结果;混合精度计算阵列的乘累加结果经加法树和截位模块处理后传输给输出存储器,输出存储器将计算结果传输给后处理单元进行Softmax操作、激活函数和元素乘加操作;其中:输入存储器用于存储后处理单元、输出存储器输出的数据,并向混合精度计算阵列提供计算用的数据;顶层控制器用于控制片外动态随机存取存储器的数据和片上的数据之间的交互。从而能够优化网络精度和性能;通过片上存储分布来有效降低片外片内数据的交互,降低功耗。

Patent Agency Ranking