计算图编译方法、编译装置、计算设备及存储介质

    公开(公告)号:CN118034695A

    公开(公告)日:2024-05-14

    申请号:CN202211390357.6

    申请日:2022-11-08

    Inventor: 龙国平 戴宗宏

    Abstract: 本申请提供了一种计算图编译方法、编译装置、计算设备及存储介质,其中,上述方法包括:对计算图中的第一子图进行编译得到多个第一内核;对计算图中的第二子图进行编译得到第二内核,第二子图位于第一子图之前;将多个第一内核中的部分第一内核融合到第二内核中。通过上述方法可以在执行第二子图(即融合后的第二内核)的过程中,完成部分第一子图(即部分第一内核)的执行,从而提高用于执行第二内核的计算单元(也是用于执行融合后的第二内核的计算单元)的资源利用率,以及提高第一子图的执行效率。

    模型优化方法、装置以及计算设备

    公开(公告)号:CN117709403A

    公开(公告)日:2024-03-15

    申请号:CN202211098928.9

    申请日:2022-09-07

    Abstract: 本申请实施例提供了一种模型优化方法,其中,该方法包括:接收用户输入或人工智能AI应用发送的优化请求信息,所述优化请求信息中包括第一模型文件,所述第一模型文件中包括M个算子,每个算子用于执行一个矩阵乘计算,所述每个算子对应一个内核函数,所述M为正整数;根据所述第一模型文件,生成第二模型文件,所述第二模型文件包括N个融合算子,每个融合算子用于执行至少两个矩阵乘计算,所述每个融合算子分别对应一个内核函数,所述N为正整数,且N

    计算图编译方法、编译装置、计算设备及存储介质

    公开(公告)号:CN117519709A

    公开(公告)日:2024-02-06

    申请号:CN202211390370.1

    申请日:2022-11-08

    Inventor: 龙国平 戴宗宏

    Abstract: 本申请提供了一种计算图编译方法、编译装置、计算设备及存储介质,其中,该方法包括:根据计算图中算子之间的依赖关系对计算图中的算子进行分层,每层包括一个或多个计算密集型算子,以及与该一个或多个计算密集型算子具有依赖关系的一个或多个访存密集型算子,然后根据分层结果将同一层中的算子融合为一个子图,之后再将融合得到的每个子图编译成可在计算设备上执行的代码。利用上述方法可以融合得到粒度更大的子图,从而提高计算图的编译效率和执行效率。

    一种神经网络的训练方法以及相关设备

    公开(公告)号:CN117474067A

    公开(公告)日:2024-01-30

    申请号:CN202211391730.X

    申请日:2022-11-08

    Abstract: 本申请实施例公开一种神经网络的训练方法以及相关设备,该方法可用于人工智能领域中对神经网络进行训练的场景中,方法包括:在执行神经网络的第N轮训练时,可以获取第一计算图,其中,第一计算图是与神经网络的第N轮训练对应一个或多个计算图中的一个;在确定系统中已经存储有与第一计算图对应的第一已编译代码后,可以直接执行第一已编译代码,第一已编译代码是在执行神经网络的第M轮训练中生成的,M小于N;由于不再需要执行将第一计算图转换为中间计算表示,以及基于中间计算表示得到编译代码的操作,节省了对计算机资源的开销。

Patent Agency Ranking