公开(公告)号：CN113504966B

公开(公告)日：2023-10-31

申请号：CN202110690973.2

申请日：2021-06-22

Applicant: 中国科学院计算技术研究所

Inventor： 周悦媛 ,  章家维 ,  杨康 ,  邵恩 ,  谭光明

IPC: G06F9/455

Abstract: 本发明提出一种GPU集群调度策略模拟方法，包括：获取模拟GPU集群的集群参数、拟执行的工作负载及对应的调度策略；基于该调度策略，获取该工作负载完成无故障运行的预测时间；根据该集群参数和该预测时间，设定该模拟GPU集群的模拟故障参数；以该调度策略及该模拟故障参数进行该工作负载的故障工作模拟，获取该工作负载在故障工作状态时的运行数据。本发明还提出一种GPU集群模拟器，及一种实现GPU集群调度策略模拟数据处理装置。

公开(公告)号：CN111461324A

公开(公告)日：2020-07-28

申请号：CN202010230969.3

申请日：2020-03-27

Applicant: 中国科学院计算技术研究所

Inventor： 李超 ,  徐勇军 ,  杨康 ,  严阳春

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明提供一种基于层恢复敏感度的分级剪枝方法，所述方法包括：步骤S1、对目标神经网络模型进行各层均匀剪枝；步骤S2、对均匀剪枝后的目标神经网络模型进行层恢复，获得每一层对模型的性能贡献度；步骤S3、对目标神经网络模型中的各层按照贡献度进行分级，每一级分别设定剪枝比例；步骤S4、按照所设定的剪枝比例对原目标神经网络模型进行剪枝。本发明的基于层恢复敏感度分级剪枝方法，判断每一层对模型性能的贡献度更加直观高效且见简单。并且，能够大大降低模型参数初始化时随机性带来震荡问题、大幅度降低模型计算量，降低硬件需求，提高计算速度，节省计算能耗，提高设备实时性。

公开(公告)号：CN118535332A

公开(公告)日：2024-08-23

申请号：CN202410647065.9

申请日：2024-05-23

Applicant: 中国科学院计算技术研究所

Inventor： 杨康 ,  马立贤 ,  邵恩 ,  谭光明 ,  孙凝晖

IPC: G06F9/50 ,  G06N5/04

Abstract: 本发明提出一种基于算子选择与细粒度融合的深度学习推理方法，包括：获取深度神经网络模型的数据流图，通过线性回归模型模拟该数据流图中算子融合后的融合执行时间，通过动态规划选出该融合执行时间最短的算子对作为待融合算子对；采用基于持久化线程块的算子横向融合策略，对该待融合算子对进行融合，将该待融合算子对的CD kernel和TC kernel融合，得到融合算子；将该数据流图中除待融合算子以外的算子的线程块拆分为粒度更小的算子，得到低粒度算子；对该深度神经网络模型的融合算子和低粒度算子进行编排后输入包含Tensor Core和CUDA Core的GPU，得到该深度神经网络模型的执行结果。

公开(公告)号：CN113504966A

公开(公告)日：2021-10-15

申请号：CN202110690973.2

申请日：2021-06-22

Applicant: 中国科学院计算技术研究所

Inventor： 周悦媛 ,  章家维 ,  杨康 ,  邵恩 ,  谭光明

IPC: G06F9/455

Abstract: 本发明提出一种GPU集群调度策略模拟方法，包括：获取模拟GPU集群的集群参数、拟执行的工作负载及对应的调度策略；基于该调度策略，获取该工作负载完成无故障运行的预测时间；根据该集群参数和该预测时间，设定该模拟GPU集群的模拟故障参数；以该调度策略及该模拟故障参数进行该工作负载的故障工作模拟，获取该工作负载在故障工作状态时的运行数据。本发明还提出一种GPU集群模拟器，及一种实现GPU集群调度策略模拟数据处理装置。

公开(公告)号：CN113568725A

公开(公告)日：2021-10-29

申请号：CN202110794626.4

申请日：2021-07-14

Applicant: 中国科学院计算技术研究所

Inventor： 周悦媛 ,  章家维 ,  杨康 ,  邵恩 ,  谭光明

IPC: G06F9/48

Abstract: 本发明提出一种深度学习作业优先级调度方法，包括：于任一作业调度周期内，获取GPU集群中所有可用GPU的预测工作参数，以及该GPU集群的等待队列中所有作业的预测作业参数；以该预测工作参数和该预测作业参数预估每个作业的剩余执行时间；以任一作业的剩余执行时间与该作业的预估资源数量的乘积，作为该作业的作业面积；选取所有作业中具有作业面积最小值的作业，设置具有当前作业周期内的最高优先级。本发明还提出一种深度学习作业系统，以及一种数据处理装置。

公开(公告)号：CN113568725B

公开(公告)日：2024-11-22

申请号：CN202110794626.4

申请日：2021-07-14

Applicant: 中国科学院计算技术研究所

Inventor： 周悦媛 ,  章家维 ,  杨康 ,  邵恩 ,  谭光明

IPC: G06F9/48

Abstract: 本发明提出一种深度学习作业优先级调度方法，包括：于任一作业调度周期内，获取GPU集群中所有可用GPU的预测工作参数，以及该GPU集群的等待队列中所有作业的预测作业参数；以该预测工作参数和该预测作业参数预估每个作业的剩余执行时间；以任一作业的剩余执行时间与该作业的预估资源数量的乘积，作为该作业的作业面积；选取所有作业中具有作业面积最小值的作业，设置具有当前作业周期内的最高优先级。本发明还提出一种深度学习作业系统，以及一种数据处理装置。