-
公开(公告)号:CN112817706A
公开(公告)日:2021-05-18
申请号:CN201911121382.2
申请日:2019-11-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了一种分布式任务调度系统及方法。方案包括:资源管理模块获取多源大数据计算环境的集群信息,创建大数据计算环境的资源管理器队列对应的资源池;模型管理模块获取待执行任务的代码包;任务管理模块基于代码包生成预设任务类型的待执行任务,向资源管理模块申请目标资源池中的目标资源,在资源申请成功后,将待执行任务调度到任务执行引擎;任务执行引擎将待执行任务发送至目标资源池对应的大数据计算环境的资源管理器队列。应用本申请实施例提供的技术方案,实现了多源大数据计算环境的资源统一管理,以及实现了多种类型任务的管理和调度,降低了大数据计算环境中业务运维成本,降低了业务代码包管理和上线的复杂度。
-
公开(公告)号:CN112817706B
公开(公告)日:2023-06-02
申请号:CN201911121382.2
申请日:2019-11-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了一种分布式任务调度系统及方法。方案包括:资源管理模块获取多源大数据计算环境的集群信息,创建大数据计算环境的资源管理器队列对应的资源池;模型管理模块获取待执行任务的代码包;任务管理模块基于代码包生成预设任务类型的待执行任务,向资源管理模块申请目标资源池中的目标资源,在资源申请成功后,将待执行任务调度到任务执行引擎;任务执行引擎将待执行任务发送至目标资源池对应的大数据计算环境的资源管理器队列。应用本申请实施例提供的技术方案,实现了多源大数据计算环境的资源统一管理,以及实现了多种类型任务的管理和调度,降低了大数据计算环境中业务运维成本,降低了业务代码包管理和上线的复杂度。
-