-
公开(公告)号:CN119597453A
公开(公告)日:2025-03-11
申请号:CN202411577312.9
申请日:2024-11-06
Applicant: 之江实验室
IPC: G06F9/50 , G06F18/2411 , G06F18/214 , G06F18/232
Abstract: 本说明书公开了一种任务调度方法、装置、介质及设备。获取计算任务的任务描述信息。将任务描述信息输入预先训练的第一预测模型,得到第一预测模型输出的计算任务的第一执行时间。根据任务描述信息与第一执行时间,确定计算任务的资源调度策略。根据资源调度策略以及任务描述信息,执行计算任务。确定计算任务执行过程中的资源利用信息,并根据资源利用信息,确定计算任务的第二执行时间。根据第二执行时间,对计算任务的资源调度策略进行调整,以根据调整后的资源调度策略,继续执行计算任务。通过对计算任务的资源调度策略进行动态调整,提高计算资源的利用效率与计算任务的执行效率。
-
公开(公告)号:CN116310165A
公开(公告)日:2023-06-23
申请号:CN202310100221.5
申请日:2023-02-06
Applicant: 之江实验室
Abstract: 本说明书公开了一种三维地图的构建方法及装置,可以接收地图构建指令,而后,创建并运行监听容器以及创建目标任务,目标任务用于拆分三维地图的构建任务来得到各子构建任务,继而,根据监听容器的任务状态监听接口,监听目标任务是否完成,若确定目标任务完成,从目标集群中确定至少部分数据处理设备,并将得到的各子构建任务分配给至少部分数据处理设备,以使每个数据处理设备在接收到分配给自身的子构建任务后,根据获取到的用于执行分配给自身的子构建任务所需的二维图像数据,构建出局部三维地图;若根据监听容器的任务状态监听接口,确定各子构建任务均已完成,将各局部三维地图进行融合,以得到三维地图,从而提高了三维地图构建的效率。
-
公开(公告)号:CN116095083A
公开(公告)日:2023-05-09
申请号:CN202310089750.X
申请日:2023-01-16
Applicant: 之江实验室
IPC: H04L67/1001 , H04L41/0896
Abstract: 本说明书公开了一种计算方法、系统、装置、存储介质及电子设备。执行计算方法的控制系统用于控制若干从域中的计算节点进行计算,处于同一预设地理范围内的各计算节点属于同一从域。该方法包括:分别监控若干从域的负载指标,当存在负载指标达到预设上限的从域时,向云端请求新增计算节点,接收云端返回的新增的计算节点的标识,并新建从域,更新从域的负载均衡配置,以根据该负载均衡配置,为新建从域后的各从域分配网络流量,使新建从域后的各从域根据被分配的网络流量,执行服务。能够在监控到从域的负载指标达到预设上限时新建从域扩容,并更新负载均衡配置进行网络流量的分流,实现负载均衡。
-
公开(公告)号:CN116302457A
公开(公告)日:2023-06-23
申请号:CN202310598352.0
申请日:2023-05-25
Applicant: 之江实验室
Abstract: 本说明书公开了一种云原生工作流引擎实现方法、系统、介质及电子设备,方法应用于多集群,包括:先根据用户输入的待执行任务的任务文件,确定待执行任务的调度图,并确定子任务队列。之后,针对子任务队列中的每一个子任务,从多集群中,确定该子任务的调度集群。在执行该子任务时,确定多集群中该子任务的调度集群的资源信息,并根据资源信息以及预设的负载条件,从满足负载条件的调度集群中确定指定集群,并将该子任务发送给指定集群,以使指定集群执行该子任务。当各子任务执行结束时,确定待执行任务的执行结果。使得不同的子任务可以由不同的集群执行,可以更好地执行复杂的、大规模的工作流任务,提高执行速率。
-
公开(公告)号:CN116032928A
公开(公告)日:2023-04-28
申请号:CN202310309383.X
申请日:2023-03-22
Applicant: 之江实验室
IPC: H04L67/10
Abstract: 本申请涉及一种数据协同计算方法、装置、系统、电子装置和存储介质,其中,该数据协同计算方法包括:获取目标任务,以及目标任务的配置文件,配置文件包括执行目标任务所需的配置信息;根据目标任务、配置文件以及多个单域云的资源信息,确定多个子任务以及每一子任务的执行单域云;将多个子任务分配至对应的执行单域云中。通过本申请,解决了跨域数据的处理效率低的问题,提高了数据协同计算的效率。
-
公开(公告)号:CN116107708A
公开(公告)日:2023-05-12
申请号:CN202310137025.5
申请日:2023-02-09
Applicant: 之江实验室
Abstract: 本说明书公开了一种任务执行的方法、装置、存储介质及电子设备。该任务执行的方法包括:获取计算任务,并对计算任务进行划分,得到至少两个子任务,在各子任务中确定出目标任务,并将目标任务发送给至少两个客户端,针对每个客户端,判断该客户端完成所述目标任务所用的时间是否超过预设时间,若否,将该客户端对目标任务的计算结果作为候选结果,在至少部分客户端对应的候选结果中确定出互相匹配的各候选结果,作为目标结果,并判断目标结果的数量是否大于预设数量,若是,将目标结果作为目标任务对应的计算结果,并根据各子任务对应的计算结果确定计算任务对应的计算结果,以根据计算任务对应的计算结果执行任务。
-
公开(公告)号:CN115242877B
公开(公告)日:2023-01-24
申请号:CN202211148298.1
申请日:2022-09-21
Applicant: 之江实验室
IPC: H04L67/60 , H04L67/10 , H04L67/2895 , H04L67/06
Abstract: 本发明公开了面向多K8s集群的Spark协同计算、作业方法及装置,针对目前多K8s集群大多采用联邦集群的模式,而Spark自身的调度和优化的方法不能跨域实现的问题,通过实现跨域协同中心,将多K8s集群设置为主集群和从集群,主集群负责创建Spark的Driver容器和Pod,从集群负责创建Spark的Executor容器和Pod。在创建容器之后,通过协同中心汇聚地址信息和访问凭证,在主集群和从集群之间建立直联的隧道,并通过隧道实现从集群中的容器向Driver注册并持续发送心跳报文。Driver在注册完成之后,可以通过隧道下发执行任务,并通过窄/宽等不同的数据依赖关系,实现在不同集群的最优调度。
-
公开(公告)号:CN115242877A
公开(公告)日:2022-10-25
申请号:CN202211148298.1
申请日:2022-09-21
Applicant: 之江实验室
IPC: H04L67/60 , H04L67/10 , H04L67/2895 , H04L67/06
Abstract: 本发明公开了面向多K8s集群的Spark协同计算、作业方法及装置,针对目前多K8s集群大多采用联邦集群的模式,而Spark自身的调度和优化的方法不能跨域实现的问题,通过实现跨域协同中心,将多K8s集群设置为主集群和从集群,主集群负责创建Spark的Driver容器和Pod,从集群负责创建Spark的Executor容器和Pod。在创建容器之后,通过协同中心汇聚地址信息和访问凭证,在主集群和从集群之间建立直联的隧道,并通过隧道实现从集群中的容器向Driver注册并持续发送心跳报文。Driver在注册完成之后,可以通过隧道下发执行任务,并通过窄/宽等不同的数据依赖关系,实现在不同集群的最优调度。
-
公开(公告)号:CN117891600A
公开(公告)日:2024-04-16
申请号:CN202410044115.4
申请日:2024-01-11
Applicant: 之江实验室
Abstract: 本说明书公开了一种任务调度的方法、装置、存储介质及电子设备,包括:确定待执行任务,并对待执行任务进行拆分,得到各子任务。根据各子任务,生成子任务队列。采用预设的初始调度方法,将子任务队列中的各子任务调度到对应的处理器上执行。在各处理器执行各子任务的过程中,实时确定各处理器的剩余资源,并针对每个处理器,当该处理器满足指定条件时,将已调度给其他处理器但尚未执行的子任务调度到该处理器上执行,从而避免空闲处理器长时间的等待,造成资源的浪费,以及避免堵塞处理器中的子任务长时间的等待。同时,提高处理器的使用率,加快待执行任务的执行速度,提高执行效率。
-
公开(公告)号:CN116032928B
公开(公告)日:2023-07-04
申请号:CN202310309383.X
申请日:2023-03-22
Applicant: 之江实验室
IPC: H04L67/10
Abstract: 本申请涉及一种数据协同计算方法、装置、系统、电子装置和存储介质,其中,该数据协同计算方法包括:获取目标任务,以及目标任务的配置文件,配置文件包括执行目标任务所需的配置信息;根据目标任务、配置文件以及多个单域云的资源信息,确定多个子任务以及每一子任务的执行单域云;将多个子任务分配至对应的执行单域云中。通过本申请,解决了跨域数据的处理效率低的问题,提高了数据协同计算的效率。
-
-
-
-
-
-
-
-
-