-
公开(公告)号：CN119167999A
公开(公告)日：2024-12-20
申请号：CN202411024707.6
申请日：2024-07-29
Applicant: 清华大学
IPC: G06N3/0495 , G06N3/0455 , G06N3/047 , G06N3/082
Abstract: 本发明提供一种Transformer模型的非线性层加速方法、装置、加速器及存储介质，其中的方法包括：获取Softmax网络层的输入向量；对输入向量进行分组稀疏处理，得到Softmax网络层的输出向量；Softmax网络层的输出向量为LayerNorm网络层的输入向量；对LayerNorm网络层的输入向量进行双路径稀疏处理，得到LayerNorm网络层的输出向量。该方法通过对Softmax网络层的输入向量进行稀疏处理，并对LayerNorm网络层的输入向量进行双路径稀疏处理，此过程不仅显著提升了Transformer模型处理长序列数据的计算效率，还减少了对应的内存开销。
Search Results
1
records
(took 0.012 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
