-
公开(公告)号:CN114579190B
公开(公告)日:2022-10-14
申请号:CN202210145958.4
申请日:2022-02-17
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种基于流水线机制的跨数据中心协同计算的编排方法与系统,涉及跨数据中心协同计算技术领域。所述方法包括:各数据中心构建逻辑统一、物理分散的数据资源目录;根据协同分析需求,生成模型描述语言,并基于数据资源目录,使用模型描述语言对协同分析任务进行描述;对协同分析任务进行动态规划,生成跨中心流水线描述语言;基于跨中心流水线描述语言,生成跨中心的流水线子任务,并将流水线子任务分发到各数据中心执行,以向所述用户返回结果。本发明能够可视化配置跨数据中心的协同计算,监控协同计算任务规划及运行状况,能够提升跨数据中心的协同分析服务能力。
-
公开(公告)号:CN114579190A
公开(公告)日:2022-06-03
申请号:CN202210145958.4
申请日:2022-02-17
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种基于流水线机制的跨数据中心协同计算的编排方法与系统,涉及跨数据中心协同计算技术领域。所述方法包括:各数据中心构建逻辑统一、物理分散的数据资源目录;根据协同分析需求,生成模型描述语言,并基于数据资源目录,使用模型描述语言对协同分析任务进行描述;对协同分析任务进行动态规划,生成跨中心流水线描述语言;基于跨中心流水线描述语言,生成跨中心的流水线子任务,并将流水线子任务分发到各数据中心执行,以向所述用户返回结果。本发明能够可视化配置跨数据中心的协同计算,监控协同计算任务规划及运行状况,能够提升跨数据中心的协同分析服务能力。
-
公开(公告)号:CN116225642A
公开(公告)日:2023-06-06
申请号:CN202211675711.X
申请日:2022-12-26
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种基于流水线机制的跨中心协同任务动态规划方法,其步骤包括:1)根据协同需求编排数据源和协同模型算法,配置生成跨中心协同计算任务;2)将跨中心协同计算任务按照是否会产生数据迁移行为为原则进行子任务划分,形成DAG有向无环图;3)根据DAG有向无环图,将不同数据源划分到不同子任务之中;4)当子任务T分配有数据源D时,则将子任务T发送到该数据源D所在数据中心执行;对于未分配数据源的子任务T’,则根据子任务T’的上游子任务执行情况及各数据中心资源情况,确定执行子任务T’的数据中心,然后将子任务T’发送到对应的数据中心执行。本发明实现面向复杂分析场景的跨数据中心协同任务的高效编排与执行。
-
-