公开(公告)号：CN114217941A

公开(公告)日：2022-03-22

申请号：CN202110381665.1

申请日：2021-04-09

Applicant: 无锡江南计算技术研究所

Inventor： 肖谦 ,  王飞 ,  沈莉 ,  赵美佳 ,  周文浩 ,  武文浩 ,  李斌

IPC: G06F9/50 ,  G06N20/00

Abstract: 本发明公开一种面向国产异构众核处理器的TensorFlow框架核心计算加速引擎，独立设置于TensorFlow框架与多个众核计算加速库之间，包括以下功能模块：算子接口模块，用于将运行流程转入核心计算加速引擎；分析调度模块，用于分析算子类型和算子参数特性，将算子参数封装为各个众核计算加速库的参数结构，并根据算子类型调用不同的众核计算加速库，当同种算子类型有多种算子实现时，根据算子参数特点自动选择最优的实现方式并进行调用；调试模块，用于记录各个算子的运行时间，从算子层面分析模型推理或训练过程的性能表现。本发明可充分发挥国产异构众核强大的强大计算能力，提供自动化的深度学习任务核心加速能力。

公开(公告)号：CN114217770B

公开(公告)日：2025-05-16

申请号：CN202110325186.8

申请日：2021-03-26

Applicant: 无锡江南计算技术研究所

Inventor： 王飞 ,  尉红梅 ,  武文浩 ,  沈莉 ,  肖谦 ,  周文浩 ,  赵美佳 ,  李斌

IPC: G06F8/30 ,  G06F8/41

Abstract: 本发明公开一种基于异构众核架构的C++融合编程方法，包括以下步骤：S1、主核以头文件“athreadcxx.h”的形式提供athreadcxx类的对象；S2、athreadcxx类的对象通过构造函数进行从核资源的初始化，通过析构函数进行从核资源的回收；S3、编译器通过选项‑mhost将使用athreadcxx类的对象编程的主核程序进行编译；S4、从核以头文件“slavecxx.h”的形式提供线程私有全局变量PEN、COL和ROW，用于保存当前从核的编号和行列信息。本发明解决了不同架构的指令集混合链接符号多重定义问题、从核间的全局变量访存问题。

公开(公告)号：CN114217807A

公开(公告)日：2022-03-22

申请号：CN202110381660.9

申请日：2021-04-09

Applicant: 无锡江南计算技术研究所

Inventor： 周文浩 ,  王飞 ,  沈莉 ,  肖谦 ,  武文浩 ,  李斌 ,  赵美佳

IPC: G06F8/41 ,  G06F9/50

Abstract: 本发明公开一种基于异构众核架构的直接内存访问编译优化方法，包括以下步骤：S1、通过调度原语cache_read，将张量数据由主存搬移到局存；S2、通过调度原语pragma，将S11中的数据搬移操作改写为DMA GET操作；S3、通过调度原语double_buffer，将S2中的DMA GET操作优化为双缓冲模式；S4、通过调度原语pragma，在局存副本AA使用位置前插入回答字判断操作；S5、通过调度原语cache_write，将结果张量B的局存副本BB由局存搬移至主存。本发明充分利用硬件资源，最大程度实现算子的计算访存操作的重叠，从而提升深度学习负载在异构众核平台上的性能。

公开(公告)号：CN114217807B

公开(公告)日：2024-04-30

申请号：CN202110381660.9

申请日：2021-04-09

Applicant: 无锡江南计算技术研究所

Inventor： 周文浩 ,  王飞 ,  沈莉 ,  肖谦 ,  武文浩 ,  李斌 ,  赵美佳

IPC: G06F8/41 ,  G06F9/50

Abstract: 本发明公开一种基于异构众核架构的直接内存访问编译优化方法，包括以下步骤：S1、通过调度原语cache_read，将张量数据由主存搬移到局存；S2、通过调度原语pragma，将S11中的数据搬移操作改写为DMA GET操作；S3、通过调度原语double_buffer，将S2中的DMA GET操作优化为双缓冲模式；S4、通过调度原语pragma，在局存副本AA使用位置前插入回答字判断操作；S5、通过调度原语cache_write，将结果张量B的局存副本BB由局存搬移至主存。本发明充分利用硬件资源，最大程度实现算子的计算访存操作的重叠，从而提升深度学习负载在异构众核平台上的性能。

公开(公告)号：CN114253545A

公开(公告)日：2022-03-29

申请号：CN202110381428.5

申请日：2021-04-09

Applicant: 无锡江南计算技术研究所

Inventor： 沈莉 ,  周文浩 ,  王飞 ,  肖谦 ,  武文浩 ,  赵美佳 ,  李斌

IPC: G06F8/41 ,  G06N3/04 ,  G06N3/063 ,  G06N3/08

Abstract: 本发明公开一种基于编译的神经网络异构众核多层次资源映射方法，包括以下步骤：S1、进行众核核组资源映射；S2、进行从核线程资源映射；S3、进行向量部件资源映射。本发明可充分挖掘神经网络算子并行潜力，发挥片上多级并行优势，从而提升深度学习负载在异构众核平台上的性能。

公开(公告)号：CN114217770A

公开(公告)日：2022-03-22

申请号：CN202110325186.8

申请日：2021-03-26

Applicant: 无锡江南计算技术研究所

Inventor： 王飞 ,  尉红梅 ,  武文浩 ,  沈莉 ,  肖谦 ,  周文浩 ,  赵美佳 ,  李斌

IPC: G06F8/30 ,  G06F8/41

Abstract: 本发明公开一种基于异构众核架构的C++融合编程方法，包括以下步骤：S1、主核以头文件“athreadcxx.h”的形式提供athreadcxx类的对象；S2、athreadcxx类的对象通过构造函数进行从核资源的初始化，通过析构函数进行从核资源的回收；S3、编译器通过选项‑mhost将使用athreadcxx类的对象编程的主核程序进行编译；S4、从核以头文件“slavecxx.h”的形式提供线程私有全局变量PEN、COL和ROW，用于保存当前从核的编号和行列信息。本发明解决了不同架构的指令集混合链接符号多重定义问题、从核间的全局变量访存问题。