公开(公告)号：CN114217770B

公开(公告)日：2025-05-16

申请号：CN202110325186.8

申请日：2021-03-26

Applicant: 无锡江南计算技术研究所

Inventor： 王飞 ,  尉红梅 ,  武文浩 ,  沈莉 ,  肖谦 ,  周文浩 ,  赵美佳 ,  李斌

IPC: G06F8/30 ,  G06F8/41

Abstract: 本发明公开一种基于异构众核架构的C++融合编程方法，包括以下步骤：S1、主核以头文件“athreadcxx.h”的形式提供athreadcxx类的对象；S2、athreadcxx类的对象通过构造函数进行从核资源的初始化，通过析构函数进行从核资源的回收；S3、编译器通过选项‑mhost将使用athreadcxx类的对象编程的主核程序进行编译；S4、从核以头文件“slavecxx.h”的形式提供线程私有全局变量PEN、COL和ROW，用于保存当前从核的编号和行列信息。本发明解决了不同架构的指令集混合链接符号多重定义问题、从核间的全局变量访存问题。

公开(公告)号：CN112631893B

公开(公告)日：2022-11-15

申请号：CN201910903842.0

申请日：2019-09-24

Applicant: 无锡江南计算技术研究所

Inventor： 武文浩 ,  沈莉 ,  王飞 ,  肖谦 ,  管茂林 ,  周文浩

IPC: G06F11/36

Abstract: 本发明公开一种面向异构平台的多层次存储结构内存检测方法，基于异构众核处理器的编译器和运行时库，包括以下步骤：S1、实现自定义动态运行时库；S2、在自定义动态运行时库中，当从核程序发生段为例异常或终止异常时，从核向主核发送异常中断信号，主核代理从核进行异常处理；S3、主核、从核分别对源程序进行编译分析，将源程序处理为中间代码，并在中间代码上对需要插桩的位置进行插桩处理；S4、编译器将S3中处理过的中间代码，编译、汇编、链接，生成可执行代码，进而生成可执行文件并运行。本发明在拥有多指令集、多层次存储结构的异构众核处理器上实现内存错误的动态检测，检测的错误类型多，且错误信息描述详尽，定位精准，检测效果较好。

公开(公告)号：CN112445581B

公开(公告)日：2022-11-15

申请号：CN201910799253.2

申请日：2019-08-28

Applicant: 无锡江南计算技术研究所

Inventor： 吴伟 ,  王飞 ,  沈莉 ,  管茂林 ,  肖谦 ,  钱宏 ,  周文浩 ,  武文浩

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明公开一种针对异构众核的快速线程启动方法，包括以下步骤：S1、控制核心进行线程信息初始化的工作；S2、控制核心获取加速核心上将要运行的线程函数的PC值、参数等信息；S3、控制核心根据异构众核的结构特征选择传输方式；S4、控制核心写入线程信息并置传输标志；S5、控制核心进入等待线程结束的状态；S6、加速核心进入等待传输标志的状态；S7、加速核心启动传输操作；S8、启动线程函数执行；S9、各加速核心的线程函数执行完毕后，进行加速核心间的同步操作；S10、通知控制核心线程函数已执行结束；S11、控制核心进行线程回收操作。本发明实现了快速的线程启动与回收，减少了控制核心和加速核心在线程启动交互过程中的访存和控制开销，为应用程序的高效执行奠定了基础。

公开(公告)号：CN112650539B

公开(公告)日：2022-07-12

申请号：CN201910918622.5

申请日：2019-09-26

Applicant: 无锡江南计算技术研究所

Inventor： 沈莉 ,  肖谦 ,  王飞 ,  管茂林 ,  周文浩 ,  武文浩

IPC: G06F9/445 ,  G06F9/50 ,  G06F15/16

Abstract: 本发明公开一种面向异构众核处理器的动态链接运行支撑方法，包括以下步骤：S1、将用户的控制核心程序、加速核心程序及加速核心静态库链接到可执行程序中，获得异构混合动态链接的可执行程序；S2、运行异构混合动态链接的可执行程序；S3、提供一动态混合链接选项，实现异构程序的混合链接；S4、程序加载器分析异构混合动态链接的可执行程序的各个段，通过interp段解析标准动态链接器的地址；S5、向操作系统申请页氏空间，用于加载控制核心动态库；S6、实现基于众核空间的动态分配策略；S7、新增接口dlopen_hybrid，支持异构混合动态库中控制核心代码和加速核心代码正确运行。本发明既能保证控制核心代码兼容动态链接功能和动态运行模式，也能通过充分发挥加速核心的加载和运行效率。

公开(公告)号：CN114217807A

公开(公告)日：2022-03-22

申请号：CN202110381660.9

申请日：2021-04-09

Applicant: 无锡江南计算技术研究所

Inventor： 周文浩 ,  王飞 ,  沈莉 ,  肖谦 ,  武文浩 ,  李斌 ,  赵美佳

IPC: G06F8/41 ,  G06F9/50

Abstract: 本发明公开一种基于异构众核架构的直接内存访问编译优化方法，包括以下步骤：S1、通过调度原语cache_read，将张量数据由主存搬移到局存；S2、通过调度原语pragma，将S11中的数据搬移操作改写为DMA GET操作；S3、通过调度原语double_buffer，将S2中的DMA GET操作优化为双缓冲模式；S4、通过调度原语pragma，在局存副本AA使用位置前插入回答字判断操作；S5、通过调度原语cache_write，将结果张量B的局存副本BB由局存搬移至主存。本发明充分利用硬件资源，最大程度实现算子的计算访存操作的重叠，从而提升深度学习负载在异构众核平台上的性能。

公开(公告)号：CN112527262A

公开(公告)日：2021-03-19

申请号：CN201910885725.6

申请日：2019-09-19

Applicant: 无锡江南计算技术研究所

Inventor： 沈莉 ,  周文浩 ,  王飞 ,  武文浩 ,  肖谦

IPC: G06F8/30 ,  G06F8/41 ,  G06N20/00

Abstract: 本发明公开一种深度学习框架编译器宽度非一致自动向量优化方法，基于异构平台，包括以下步骤：S1、框架编译器前端识别计算图中可进行向量优化的子图，S2、框架编译器中端对步骤S15标记的可进行向量优化的子图中的算子进行融合，并计算图编译为底层IR，S3、框架编译器后端根据异构众核处理器的控制核心和计算核心的向量宽度，分别对步骤S2中获得的底层IR进行宽度非一致的向量优化，S4、框架编译器的代码生成模块将步骤S32获得的向量优化后的底层IR转换为用户指定的高级语言代码，并通过基础编译器生成向量优化后的平台目标码。本发明进一步的挖掘深度学习负载的指令集并行性能，提升深度学习负载的向量化程度，从而提升深度学习负载在异构众核平台上的推理性能。

公开(公告)号：CN112445485A

公开(公告)日：2021-03-05

申请号：CN201910799256.6

申请日：2019-08-28

Applicant: 无锡江南计算技术研究所

Inventor： 沈莉 ,  王飞 ,  钱宏 ,  管茂林 ,  朱琪 ,  吴伟 ,  肖谦 ,  武文浩

IPC: G06F8/41

Abstract: 本发明公开一种基于编译实现的可扩展向量掩码功能的方法和装置，包括以下步骤：S1、编译器输入用户程序，根据目标平台翻译出正确的掩码向量接口；S2、编译器前端模块对S1中获得的掩码向量接口进行关键字识别，选择对应平台的中端处理入口；S3、编译器中端模块根据目标平台的指令结构对掩码向量接口进行分析，选择合适的处理流程；S4、编译器后端模块将编译器中端模块生成的中间生成代码转换生成最终指令；S5、编译器根据向量宽度的增加，完成对平台向量宽度的识别，选择合适宽度的向量转换和掩码生成。本发明降低了重新开发代码的工作量和复杂度及用户移植的复杂度，更进一步的挖掘了课题的指令级并行性能。

公开(公告)号：CN112445724B

公开(公告)日：2022-09-13

申请号：CN201910805599.9

申请日：2019-08-29

Applicant: 无锡江南计算技术研究所

Inventor： 吴伟 ,  王飞 ,  沈莉 ,  朱琪 ,  钱宏 ,  管茂林 ,  周文浩 ,  武文浩

IPC: G06F12/0802 ,  G06F15/78

Abstract: 本发明公开一种针对片上存储器重用的链接时地址分配方法，包括以下步骤：S1、在编译器上构建片上存储器的重用段类型，生成片上存储器的访存模式；S2、在执行S1中操作的同时，对链接脚本进行配置；S31、链接器对S2中所述的链接脚本进行信息扫描，进入链接器的重用处理函数；S32、从二进制文件格式描述符文件中获取段信息；S33、循环处理S32中获取的段信息，识别并找出重用段；S34、解析出S12中所述的重用段属性的数据结构中所带的重用段名字，对满足同一个重用段名字的段分配相同的虚拟内存地址；S35、从S32中获取的段信息中找出最大的段，用作该重用段空间分配时的空间大小。本发明通过链接时地址分配方法实现空间重用，有效提高片上存储器的空间利用率、提升程序性能。

公开(公告)号：CN112445465B

公开(公告)日：2022-09-13

申请号：CN201910799245.8

申请日：2019-08-28

Applicant: 无锡江南计算技术研究所

Inventor： 肖谦 ,  周文浩 ,  钱宏 ,  沈莉 ,  管茂林 ,  武文浩 ,  朱琪 ,  吴伟

IPC: G06F8/30 ,  G06F8/41 ,  G06N3/10 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明公开一种基于C代码生成的神经网络模型推理和训练方法，包括以下步骤：S1、以通过各种AI编程框架开发的模型作为输入，AI框架编译器识别各种模型格式并转化为统一的计算图，将输入的模型转化为底层IR；S2、将S1中生成的计算图输入C代码生成模块，输出总控函数；S3、C代码生成模块针对不同的底层IR，生成对应的C代码；S4、将生成的总控函数、各IR对应的C代码以及C‑基础算子库，输入到支持C语言和相应硬件平台的基础编译器，通过基础编译器的优化过程转化为运行程序，并在对应硬件平台上执行推理过程、训练过程。本发明实现了AI框架编译器在LLVM不支持的硬件平台上的快速移植，能够快速实现神经网络模型在LLVM不支持的特定硬件平台上的训练和推理过程。

公开(公告)号：CN114661460A

公开(公告)日：2022-06-24

申请号：CN202210136541.1

申请日：2022-02-15

Applicant: 无锡江南计算技术研究所

Inventor： 肖谦 ,  王飞 ,  沈莉 ,  赵美佳 ,  周文浩 ,  武文浩

IPC: G06F9/50 ,  G06F9/48

Abstract: 本发明公开一种面向异构众核处理器的AI框架两级并行加速方法，包括以下步骤：AI框架调用模型优化模块优化深度学习模型或者预训练好的模型，将其组织成更具可并行性的树形计算图；AI框架将优化后的树形计算图转换成由计算任务组成的线程池；线程管理模块根据相关性将线程池组织成不同的线程队列；线程管理模块监测各个核组的状态，如果发现某个核组处于空闲状态，则将某队列的计算任务调度到该核组上执行；当整个运行任务完成后，线程管理模块和核组管理模块均中止运行，等到下一次运行任务开始后。本发明可以充分利用异构众核的多级存储资源和计算能力，实现自动化的AI框架两级并行加速，显著提升AI框架在异构众核上的好用性和高性能。