-
公开(公告)号:CN105302638B
公开(公告)日:2018-11-20
申请号:CN201510740736.7
申请日:2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F9/48
Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法,其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块,并按以下步骤实现:各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上;MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集集群内所有计算节点的系统负载信息,MPP集群主控节点依据任务的分布信息以及对应节点的负载情况,完成对任务的排队和调度,通过对系统负载的实时监控,实现动态并发控制,可以有效提高资源的利用率,使系统达到最佳吞吐性能。
-
公开(公告)号:CN109918229A
公开(公告)日:2019-06-21
申请号:CN201910119274.5
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种非日志模式的数据库集群副本构建方法及装置,方法包括:加载工具直连第一个副本,进行数据实时入库加载,并以事务为单位构建同步记录;复制流程调度器加载元数据,检查节点状态,构造多个副本的拓扑关系,启动各个节点上的复制执行器,将构建的拓扑信息携带在复制处理消息中通过消息总线发送给复制执行器;复制执行器从消息总线获取复制处理消息,解析拓扑信息,查找到数据源,通过自身副本的全局唯一GID标识以及数据源的同步记录跟踪表,检查增量数据,如果没有,则循环等待,否则执行下步;复制执行器计算增量数据的同步范围信息,读取给定范围的数据,加载至本身节点上的副本,并构造本次数据复制的同步记录,执行步骤3。
-
公开(公告)号:CN105426427A
公开(公告)日:2016-03-23
申请号:CN201510740873.0
申请日:2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
CPC classification number: G06F16/273 , G06F3/0689 , G06F11/1469 , G06F16/211 , G06F16/2365
Abstract: 本发明涉及一种基于RAID 0存储的MPP数据库集群副本实现方法,其技术特点是包括副本分布算法模块、副本状态维护模块、访问重定向模块、数据一致性维护模块并通过以下步骤实现:进行数据库存储部署;计算副本存储位置;创建副本存储实体;进行副本元信息维护;进行副本数据访问;使用数据一致性维护模块进行副本数据一致性维护。本发明设计合理,其为MPP数据库集群引入系统层面的数据冗余,通过牺牲一定的存储空间来换取数据安全,提高了系统可用性;当出现硬件故障或副本数据被破坏(失效)时,系统自动将对该数据分片的访问导向另一个可用副本,实现对外不间断服务,并且解决单一数据并发访问“过热”问题,提高系统的吞吐性能。
-
公开(公告)号:CN105302638A
公开(公告)日:2016-02-03
申请号:CN201510740736.7
申请日:2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F9/48
Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法,其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块,并按以下步骤实现:各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上;MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集群内所有计算节点的系统负载信息,MPP集群主控节点依据任务的分布信息以及对应节点的负载情况,完成对任务的排队和调度,通过对系统负载的实时监控,实现动态并发控制,可以有效提高资源的利用率,使系统达到最佳吞吐性能。
-
公开(公告)号:CN109901948B
公开(公告)日:2022-04-12
申请号:CN201910119253.3
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种无共享数据库集群异地双活容灾系统,所述系统包括:任务调度器,位于MPP集群Server服务器端,用于对于主、备集群分别执行不同的调度任务;任务执行器,位于MPP集群的NodeAgent节点代理端,为MPP集群节点代理层的执行线程,用于接收任务调度器分配的调度任务并执行;消息总线模块,用于为所述无共享数据库集群异地双活容灾系统提供消息交互功能;DNS代理服务模块,用于主、备MPP集群对外提供服务的接口,并通过更新实现集群主、备之间的自动切换。
-
公开(公告)号:CN109918229B
公开(公告)日:2021-03-30
申请号:CN201910119274.5
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种非日志模式的数据库集群副本构建方法及装置,方法包括:加载工具直连第一个副本,进行数据实时入库加载,并以事务为单位构建同步记录;复制流程调度器加载元数据,检查节点状态,构造多个副本的拓扑关系,启动各个节点上的复制执行器,将构建的拓扑信息携带在复制处理消息中通过消息总线发送给复制执行器;复制执行器从消息总线获取复制处理消息,解析拓扑信息,查找到数据源,通过自身副本的全局唯一GID标识以及数据源的同步记录跟踪表,检查增量数据,如果没有,则循环等待,否则执行下步;复制执行器计算增量数据的同步范围信息,读取给定范围的数据,加载至本身节点上的副本,并构造本次数据复制的同步记录,执行步骤3。
-
公开(公告)号:CN109901948A
公开(公告)日:2019-06-18
申请号:CN201910119253.3
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种无共享数据库集群异地双活容灾系统,所述系统包括:任务调度器,位于MPP集群Server服务器端,用于对于主、备集群分别执行不同的调度任务;任务执行器,位于MPP集群的NodeAgent节点代理端,为MPP集群节点代理层的执行线程,用于接收任务调度器分配的调度任务并执行;消息总线模块,用于为所述无共享数据库集群异地双活容灾系统提供消息交互功能;DNS代理服务模块,用于主、备MPP集群对外提供服务的接口,并通过更新实现集群主、备之间的自动切换。
-
-
-
-
-
-