公开(公告)号：CN116151315B

公开(公告)日：2023-08-15

申请号：CN202310347555.2

申请日：2023-04-04

Applicant: 之江实验室

Inventor： 王之宇 ,  刘勤让 ,  邓庆文 ,  孙天宁 ,  曹志鹏 ,  李顺斌 ,  郭威 ,  张汝云 ,  李沛杰 ,  万智泉

IPC: G06N3/0455 ,  G06N3/047 ,  G06N3/084 ,  G06N3/063

Abstract: 本发明公开了一种面向晶上系统的注意力网络调度优化方法及装置，该方法包括：首先对注意力网络的注意力计算过程进行解析并优化，以获取元素的依赖关系，根据元素的依赖关系生成计算图；然后根据计算图和晶上系统的芯粒连接图以及总时间优化目标，基于优先级对计算资源调度方案进行优化，以获取最优的优先级矩阵；最后将最优的优先级矩阵通过计算图映射转化为对应的调度方案，使用晶上系统编译器生成计算程序，将计算任务映射到晶上系统对应的芯粒，以获取最优计算资源调度方案。本发明对注意力机制的运算机理进行解析和优化，生成计算效率更高的计算图，并针对晶上系统的结构特性进行调度优化，有效提高了计算效率和降低了总运行时间。

公开(公告)号：CN116151315A

公开(公告)日：2023-05-23

申请号：CN202310347555.2

申请日：2023-04-04

Applicant: 之江实验室

Inventor： 王之宇 ,  刘勤让 ,  邓庆文 ,  孙天宁 ,  曹志鹏 ,  李顺斌 ,  郭威 ,  张汝云 ,  李沛杰 ,  万智泉

IPC: G06N3/0455 ,  G06N3/047 ,  G06N3/084 ,  G06N3/063

Abstract: 本发明公开了一种面向晶上系统的注意力网络调度优化方法及装置，该方法包括：首先对注意力网络的注意力计算过程进行解析并优化，以获取元素的依赖关系，根据元素的依赖关系生成计算图；然后根据计算图和晶上系统的芯粒连接图以及总时间优化目标，基于优先级对计算资源调度方案进行优化，以获取最优的优先级矩阵；最后将最优的优先级矩阵通过计算图映射转化为对应的调度方案，使用晶上系统编译器生成计算程序，将计算任务映射到晶上系统对应的芯粒，以获取最优计算资源调度方案。本发明对注意力机制的运算机理进行解析和优化，生成计算效率更高的计算图，并针对晶上系统的结构特性进行调度优化，有效提高了计算效率和降低了总运行时间。