-
公开(公告)号:CN116501459A
公开(公告)日:2023-07-28
申请号:CN202310286432.2
申请日:2023-03-22
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种多租户任务调度方法、系统,所述方法包括:依据用户任务请求,为深度神经网络的每个层生成满足QoS要求的候选层集合;为候选层集合中的每个候选层设置一个标识符,重构深度神经网络模型;在GPU中执行深度神经网络模型的情况下,计算不同的候选层组合的共置开销,生成共置开销集合,选择具有最佳共置性能的至少一组候选层组合作为最优候选实现;在GPU中不执行深度神经网络模型的情况下,选择候选层集合中的最优候选层作为最优候选实现;将最优候选实现作为标识符列表,写入用户任务请求并提交至GPU;GPU运行时根据所述标识符列表选择对应的候选层实现。该方法在保证每个作业的QoS的同时,提高多租户系统的吞吐量。