具有网格融合的混合精度神经网络加速器区块

    公开(公告)号:CN115496192A

    公开(公告)日:2022-12-20

    申请号:CN202210653239.3

    申请日:2022-06-09

    Abstract: 公开了一种神经网络加速器,包括乘法单元、加法器树单元和累加器单元。乘法单元和加法器树单元被配置为执行网格乘法操作。累加器单元耦接到加法器树的输出,以从由乘法单元和加法器树单元执行的网格乘法运算形成点积值。乘法单元包括执行基于网格乘法的运算并输出乘积值的n个乘法器单元。每个乘法器单元包括多个乘法器。每个乘法器单元接收第一和第二被乘数,每个被乘数包括最高有效半字节(MSN)和最低有效半字节(LSN)。每个乘法器单元中的乘法器接收被乘数的MSN和LSN的不同组合。乘法单元和加法器可以提供混合精度点积计算。

    自注意力机制中特征图的稀疏化方法

    公开(公告)号:CN115618944A

    公开(公告)日:2023-01-17

    申请号:CN202210696722.X

    申请日:2022-06-20

    Abstract: 公开了一种减少自注意力深度学习模型中的计算的方法。在训练自注意力模型时,特征图正则化项被添加到损失函数中。在推断期间,从自注意力模型的至少一个特征图中去除至少一个低量值特征。在自注意力模型被训练之后,自注意力模型的权重被量化。添加特征图正则化项减少了特征图的激活值,并且从至少一个特征图中去除至少一个低量值特征可以通过基于低量值特征具有小于预定阈值的值而将低量值特征设置为等于零来执行。自注意力模型的特征图被量化和压缩。

    神经处理单元核心及配置神经处理单元核心的方法

    公开(公告)号:CN115511065A

    公开(公告)日:2022-12-23

    申请号:CN202210704687.1

    申请日:2022-06-21

    Abstract: 提供了神经处理单元核心及配置神经处理单元核心的方法。神经处理单元的核心被配置为通过使用加法器树最大化空间特征图局部性来高效地处理深度卷积。激活和权重的数据路径被反转,沿着乘法器的行,每2/9个乘法器就有2对1复用器。在深度卷积运算期间,核心使用RSxHW数据流进行操作,以最大化特征图局部性。对于常规卷积运算,激活和权重的数据路径可配置为常规卷积配置,并且且其中复用器空闲。

Patent Agency Ranking