通过具有格式转换的多级8位浮点矩阵乘法提高计算效率

    公开(公告)号:CN119604845A

    公开(公告)日:2025-03-11

    申请号:CN202380055424.5

    申请日:2023-07-20

    Abstract: 具体格式转换的多级8位浮点(FP8)矩阵乘法的示例解决方案,有利于通过处理器的矩阵乘法运算的计算效率,包括:将FP8格式的数据值从全局存储器复制到共享存储器;将FP8数据值的线程块瓦片从共享存储器加载到寄存器集合中;将寄存器集合中的多个FP8数据值中的每个转换为16位浮点(FP16)数据值;将FP16数据值提交给张量核;并且利用张量核执行矩阵乘法累加计算。

Patent Agency Ranking