-
公开(公告)号：CN114003359B
公开(公告)日：2024-07-16
申请号：CN202111230110.3
申请日：2021-10-20
Applicant: 上海交通大学
Abstract: 本发明提供一种基于弹性持久的线程块的任务调度方法、系统及GPU，所述基于弹性持久的线程块的任务调度方法包括：对于每一个GPU内核函数，使用源对源编译的方式将该内核函数，转换为使用弹性持久线程块的函数版本，进而减少了内核函数的资源占用。对于每一个可能的混跑的内核函数对，使用混跑重合率判断两个混跑的内核函数的吞吐性能，进而找到最优的混跑配置。对于实时到来的内核函数，基于混跑重合率来构建混跑的内核函数对，以获得最大的吞吐。本发明可以在无需用户感知的前提下，最大化系统吞吐，本发明的成果可以间接为潜在的配置多种计算单元的GPU提供调度技术的支持。
-
公开(公告)号：CN113407333B
公开(公告)日：2023-05-26
申请号：CN202011506442.5
申请日：2020-12-18
Applicant: 上海交通大学
Abstract: 本发明提供一种Warp级别调度的任务调度方法、系统、GPU及设备，所述Warp级别调度的任务调度方法包括：在任务为首次任务时，离线分析用户提交任务的硬件信息及配置信息；基于所述任务的硬件信息和配置信息，获取与主流任务并行时的最大并行度；在任务为非首次任务时，基于任务的硬件信息和已收集的最大并行度决策，进行在线的任务对打包决策，将选取的任务对打包成一个新任务，并将新任务提交到GPU上，以使得任务对中的原有两个GPU任务实现warp级别的任务调度。本发明在无需用户感知提前下，实现高吞吐的Warp级别调度的任务调度，可以间接为潜在的配置多种计算单元的GPU提供调度技术的支持。
-
公开(公告)号：CN114003359A
公开(公告)日：2022-02-01
申请号：CN202111230110.3
申请日：2021-10-20
Applicant: 上海交通大学
Abstract: 本发明提供一种基于弹性持久的线程块的任务调度方法、系统及GPU，所述基于弹性持久的线程块的任务调度方法包括：对于每一个GPU内核函数，使用源对源编译的方式将该内核函数，转换为使用弹性持久线程块的函数版本，进而减少了内核函数的资源占用。对于每一个可能的混跑的内核函数对，使用混跑重合率判断两个混跑的内核函数的吞吐性能，进而找到最优的混跑配置。对于实时到来的内核函数，基于混跑重合率来构建混跑的内核函数对，以获得最大的吞吐。本发明可以在无需用户感知的前提下，最大化系统吞吐，本发明的成果可以间接为潜在的配置多种计算单元的GPU提供调度技术的支持。
-
公开(公告)号：CN110837419A
公开(公告)日：2020-02-25
申请号：CN201911088741.9
申请日：2019-11-08
Applicant: 上海交通大学
Abstract: 本发明提供一种基于弹性批处理的推理引擎系统、方法及电子设备，所述基于弹性批处理的推理引擎方法包括：获取用户输入的待推理请求数据；获取最大并行批处理数量和待推理请求的数量；根据所述最大并行批处理数量和所述待推理请求的数量将所述待处理推理请求数据按需组织成为合适批处理大小的批处理数据，并唤醒深度神经网络推理引擎模块中与所述批处理数据的大小对应的子引擎，由所述子引擎处理所述待处理推理请求。本发明在无需增加硬件设备包括图形处理器等的前提下，极大化引擎系统的响应延迟速度和吞吐量。
-
-
-
Search Results
14
records
(took 0.018 seconds)
