张量处理单元上加速稀疏矩阵计算的方法及存储介质

    公开(公告)号:CN119441698B

    公开(公告)日:2025-04-29

    申请号:CN202411531342.6

    申请日:2024-10-30

    Abstract: 本申请公开了一种张量处理单元上加速稀疏矩阵计算的方法及存储介质,所述方法包括:获取第一矩阵,其中第一矩阵包括行索引值或列索引值,第一矩阵为基于输入序列得到的稀疏矩阵;基于行索引值或列索引值,对所述第一矩阵的行和列进行重新排序,得到第二矩阵,以使所述第二矩阵相对于第一矩阵的缓存命中率更高;从GPU的内存中读取第三矩阵,并对所述第二矩阵和第三矩阵进行运算,其中所述第三矩阵是指与所述第二矩阵进行运算的矩阵,所述第三矩阵基于所述输入序列得到。通过本技术,并在tensor core上执行矩阵运算,减少了冗余计算操作,提升了运行过程中的缓存命中率实现了对稀疏矩阵的高效计算与运算资源的优化利用,极大地提升了矩阵计算的整体性能。

Patent Agency Ranking