公开(公告)号：CN115292242A

公开(公告)日：2022-11-04

申请号：CN202210700365.X

申请日：2022-06-20

Applicant: 南开大学

Inventor： 张玉志 ,  钟震宇 ,  李东闻 ,  孙羽菲

IPC: G06F16/11 ,  G06F16/16 ,  G06F9/48

Abstract: 本公开公开了大规模文本数据处理系统的构建方法及装置、电子设备和存储介质，涉及数据处理领域，主要技术方案包括：配置多任务并行处理策略，以执行数据处理中对应的不同任务；配置执行不同任务处理的自动化流转；按照预设配置策略配置分时处理不同任务；基于预设数据库对多任务进行管理及纠错，以完成所述数据处理系统的构建。与相关技术相比，本公开实施例提供的数据处理系统进行了各种优化策略的配置，实现多任务并行处理，任务处理自动化流转，分时处理不同任务，以及对存放多任务的文件进行管理及纠错，且本公开实施例提供的各种优化策略同时也可作为数据处理系统性能提升手段与鲁棒的错误处理方法，从而实现了数据处理系统的鲁棒性提升。

公开(公告)号：CN115268859A

公开(公告)日：2022-11-01

申请号：CN202210700376.8

申请日：2022-06-20

Applicant: 南开大学

Inventor： 张玉志 ,  孙羽菲 ,  陈锐 ,  隋轶丞 ,  郭强 ,  石昌青 ,  程大果 ,  陈禹乔 ,  张宇哲

IPC: G06F8/30 ,  G06F9/448 ,  G06N3/063

Abstract: 本公开提供一种OpenCL TensorFlow的实现方法及装置、电子设备和存储介质。基于OpenCL编程标准，实现TensorFlow设备层的OpenCL Device支持；参照TensorFlow中的预设kernel的计算功能，基于OpenCL编程标准实现对应计算功能的OpenCL kernel和OpenCL算子；基于OpenCL编程标准，实现OpenCLElement‑wise算子库；将任务所需的计算加速库，进行OpenCL标准的适配；利用第一OpenCL计算加速库的API接口实现集成调用；实现StreamExecutor对OpenCL的支持，利用StreamExecutor的OpenCL后端实现对第二OpenCL计算加速库的集成调用。本发明实现了OpenCL版本的TensorFlow框架，从而实现TensorFlow框架对不同厂商的多类型异构设备的支持。

公开(公告)号：CN115268857A

公开(公告)日：2022-11-01

申请号：CN202210698399.X

申请日：2022-06-20

Applicant: 南开大学

Inventor： 孙羽菲 ,  陈锐 ,  石昌青 ,  郭强 ,  陈禹乔 ,  周建宇 ,  张玉志

IPC: G06F8/30 ,  G06F9/448 ,  G06N3/063

Abstract: 本公开公开了OpenCLDNN库的集成方法及装置、系统和电子设备，具体涉及人工智能技术领域，在StreamExecutor中实现OpenCL Platform，并注册到TensorFlow框架中；所述OpenCL Platform为根据指令进行创建、指定对应的设备Platform；在StreamExecutor中实现OpenCLExecutor，并注册到TensorFlow框架中；在StreamExecutor中的LibrarySupport层完成OpenCL DNN的注册和接入；在TensorFlow框架中将OpenCL DNN库中对应的算子与OpenCL设备绑定并进行注册；实现了OpenCL DNN库在TensorFlow框架中的集成，使得TensorFlow框架在OpenCL硬件设备上运行时可以对深度神经网络常用的算子进行计算加速。