-
公开(公告)号：CN116155750B
公开(公告)日：2023-08-01
申请号：CN202310417880.1
申请日：2023-04-19
Applicant: 之江实验室
IPC: H04L41/14
Abstract: 本申请涉及一种深度学习作业资源放置方法、系统、设备和存储介质，其中，该方法包括：获取待放置的训练作业以及相应的优先级；基于优先级的顺序，依次根据训练作业的需求资源量，选择作业放置的网络结构；网络结构包括服务器、顶端交换机、容器组集合Podset以及主干层交换机；基于选择的网络结构，将训练过程中网络数据传输量作为优化目标进行最小化优化，得到相应的作业放置方案。通过本申请，能够以训练过程中网络数据传输量作为优化目标，针对训练作业选择放置的不同网络结构，得到相应的作业放置方案，有效减少网络中数据传输来提高集群中资源利用率，解决了统一的训练作业资源放置导致资源利用率低下的问题。
-
Patent Agency Ranking
公开(公告)号：CN116069512A
公开(公告)日：2023-05-05
申请号：CN202310286991.3
申请日：2023-03-23
Applicant: 之江实验室
Abstract: 本发明提公开了一种基于强化学习的Serverless高效资源分配方法及系统，该方法是通过对尾延迟、决策频率以及资源效率关系的观察，在最小化无服务器系统的资源配置消耗的同时，保障设置的性能延迟目标。该方法充分利用高频率管理带来的资源高效管理优点，通过观察每个请求的状态，利用强化学习模型对处理请求的实例资源配置做出决策。针对函数工作流多阶段运行的特性并对决策模型的轻量化设计，使得高频率控制层隐藏了时间开销并降低了资源开销。本发明与最新的工作流任务调度系统作比较，提升了CPU利用率，并提供了99%的请求时延SLO（Service Level Objective，服务水平目标）保证，降低了端到端延迟方差。
-
公开(公告)号：CN116069512B
公开(公告)日：2023-08-04
申请号：CN202310286991.3
申请日：2023-03-23
Applicant: 之江实验室
Abstract: 本发明提公开了一种基于强化学习的Serverless高效资源分配方法及系统，该方法是通过对尾延迟、决策频率以及资源效率关系的观察，在最小化无服务器系统的资源配置消耗的同时，保障设置的性能延迟目标。该方法充分利用高频率管理带来的资源高效管理优点，通过观察每个请求的状态，利用强化学习模型对处理请求的实例资源配置做出决策。针对函数工作流多阶段运行的特性并对决策模型的轻量化设计，使得高频率控制层隐藏了时间开销并降低了资源开销。本发明与最新的工作流任务调度系统作比较，提升了CPU利用率，并提供了99%的请求时延SLO（Service Level Objective，服务水平目标）保证，降低了端到端延迟方差。
-
公开(公告)号：CN115964181B
公开(公告)日：2023-06-06
申请号：CN202310247250.4
申请日：2023-03-10
Applicant: 之江实验室
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质及电子设备。该数据处理的方法包括：获取各待处理数据，判断数据处理模型在当前处理进程下是否能够处理不少于设定数量的待处理数据，若否，调取所述数据处理模型在不同配置组合下的数据处理时间，针对每种配置组合下的数据处理时间，确定所述数据处理模型在该数据处理时间内能够处理的数据量，作为目标数据量，以所述数据处理模型能够处理不少于设定数量的待处理数据为目标，根据所述目标数据量，从各配置组合中选取出目标配置组合，并创建所述目标配置组合下的处理进程对所述待处理数据进行数据处理。
-
公开(公告)号：CN116155750A
公开(公告)日：2023-05-23
申请号：CN202310417880.1
申请日：2023-04-19
Applicant: 之江实验室
IPC: H04L41/14
Abstract: 本申请涉及一种深度学习作业资源放置方法、系统、设备和存储介质，其中，该方法包括：获取待放置的训练作业以及相应的优先级；基于优先级的顺序，依次根据训练作业的需求资源量，选择作业放置的网络结构；网络结构包括服务器、顶端交换机、容器组集合Podset以及主干层交换机；基于选择的网络结构，将训练过程中网络数据传输量作为优化目标进行最小化优化，得到相应的作业放置方案。通过本申请，能够以训练过程中网络数据传输量作为优化目标，针对训练作业选择放置的不同网络结构，得到相应的作业放置方案，有效减少网络中数据传输来提高集群中资源利用率，解决了统一的训练作业资源放置导致资源利用率低下的问题。
-
公开(公告)号：CN115964181A
公开(公告)日：2023-04-14
申请号：CN202310247250.4
申请日：2023-03-10
Applicant: 之江实验室
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质及电子设备。该数据处理的方法包括：获取各待处理数据，判断数据处理模型在当前处理进程下是否能够处理不少于设定数量的待处理数据，若否，调取所述数据处理模型在不同配置组合下的数据处理时间，针对每种配置组合下的数据处理时间，确定所述数据处理模型在该数据处理时间内能够处理的数据量，作为目标数据量，以所述数据处理模型能够处理不少于设定数量的待处理数据为目标，根据所述目标数据量，从各配置组合中选取出目标配置组合，并创建所述目标配置组合下的处理进程对所述待处理数据进行数据处理。
-
-
-
-
-
Search Results
6
records
(took 0.018 seconds)
