-
公开(公告)号:CN112860402A
公开(公告)日:2021-05-28
申请号:CN202110192645.X
申请日:2021-02-20
Applicant: 中南大学
Abstract: 本发明公开了一种深度学习推理服务的动态批处理任务调度方法及系统,方法包括:以二维马尔可夫过程描述每个批次离开时刻的队列等任务数和离开批次的大小,确定所述二维马尔可夫过程的稳态概率,根据所述稳态概率确定深度学习推理服务系统中的平均服务延迟;构建优化模型来优化批处理任务大小的上限与所述平均服务延迟和内存使用量,求解优化模型确定批处理任务的批次大小上限。本发明具有符合动态环境,具有较好的平均服务延迟和内存占用量等优点。
-
公开(公告)号:CN111131835B
公开(公告)日:2021-02-26
申请号:CN201911410027.7
申请日:2019-12-31
Applicant: 中南大学
IPC: H04N19/42 , H04N19/132 , H04N19/13 , H04N19/625
Abstract: 本发明公开了一种视频处理方法及系统,方法包括:S1.将待处理视频中的帧进行分组,得到帧编组,并将所述帧编组内的帧划分为基础帧和变化帧;S2.以延时最小作为优化目标,确定所述帧编组内的所述基础帧和所述变化帧的处理主体,并将其分配给所确定的所述处理主体;所述处理主体包括本地端和服务端;S3.通过所述处理主体对所述基础帧和所述变化帧进行识别,得到识别结果。具有可有效降低识别的延时,同时保证识别准确率的优点。
-
公开(公告)号:CN112860402B
公开(公告)日:2023-12-05
申请号:CN202110192645.X
申请日:2021-02-20
Applicant: 中南大学
Abstract: 本发明公开了一种深度学习推理服务的动态批处理任务调度方法及系统,方法包括:以二维马尔可夫过程描述每个批次离开时刻的队列等待任务数和离开批次的大小,确定所述二维马尔可夫过程的稳态概率,根据所述稳态概率确定深度学习推理服务系统中的平均服务延迟;构建优化模型来优化批处理任务大小的上限与所述平均服务延迟和内存使用量,求解优化模型确定批处理任务的批次大小上限。本发明具有符合动态环境,具有较好的平均服务延迟和内存占用量等优点。(56)对比文件Lin, Lei, Qian Wang, and Adel W.Sadek.."Border crossing delay predictionusing transient multi-server queueingmodels" 《.Transportation Research Part A:Policy and Practice64 (2014)》.2014,全文.王斐“.基于系统调度与随机算法的云服务优化技术研究”《.中国博士学位论文全文数据库基础科学辑》.2020,全文.Panda, Gopinath, Abhijit Datta Banik,and Dibyajyoti Guha.."Stationary analysisand optimal control under multipleworking vacation policy in a GI/M (a, b)/1 queue"《.Journal of Systems Science andComplexity 31 (2018)》.2018,全文.赵海军;崔梦天;李明东;何先波“.基于CTMC和状态空间模型的宽带无线接入网的QoS性能研究”《.电子学报》.2018,全文.何华;林闯;赵增华;庞善臣“.使用确定随机Petri网对Hadoop公平调度的建模和性能分析”.《计算机应用》.2015,全文.
-
公开(公告)号:CN111131835A
公开(公告)日:2020-05-08
申请号:CN201911410027.7
申请日:2019-12-31
Applicant: 中南大学
IPC: H04N19/42 , H04N19/132 , H04N19/13 , H04N19/625
Abstract: 本发明公开了一种视频处理方法及系统,方法包括:S1.将待处理视频中的帧进行分组,得到帧编组,并将所述帧编组内的帧划分为基础帧和变化帧;S2.以延时最小作为优化目标,确定所述帧编组内的所述基础帧和所述变化帧的处理主体,并将其分配给所确定的所述处理主体;所述处理主体包括本地端和服务端;S3.通过所述处理主体对所述基础帧和所述变化帧进行识别,得到识别结果。具有可有效降低识别的延时,同时保证识别准确率的优点。
-
-
-