公开(公告)号：CN115437777A

公开(公告)日：2022-12-06

申请号：CN202110614491.9

申请日：2021-06-02

Applicant: 中移信息技术有限公司 ,  中国移动通信集团有限公司

Inventor： 武智晖 ,  郭志伟 ,  刘辉 ,  徐海勇 ,  陶涛 ,  尚晶 ,  江勇 ,  陈卓

IPC: G06F9/50 ,  G06F17/18

Abstract: 本发明提供一种流计算作业的在线数据倾斜调整方法及装置，包括：获取时间周期内Task的数据量统计信息，以确定Task中各数据分片的数据倾斜度；若数据分片的数据倾斜度大于倾斜阈值，分析数据分片中Key的数据量偏差状态，以调整数据分片中Key所属的数据分片，并构建数据分片‑Key映射表；Task的所有上游Task，结合数据分片‑Key映射表，执行对目标Task的数据分发。本发明提供的流计算作业的在线数据倾斜调整方法及装置，基于数据分片方式，根据数据量统计信息，通过改变Key与数据分片的映射关系，动态优化数据倾斜，并实现Key状态在线迁移，且保证相关性数据分发到相同Task，有效地提升了流计算的速率。

公开(公告)号：CN111158962A

公开(公告)日：2020-05-15

申请号：CN201811320107.9

申请日：2018-11-07

Applicant: 中移信息技术有限公司 ,  中移(苏州)软件技术有限公司 ,  中国移动通信集团有限公司

Inventor： 徐海勇 ,  王德朋 ,  陶涛 ,  黄岩 ,  尚晶 ,  郭志伟 ,  谢帆 ,  魏瑗珍 ,  段云峰 ,  余钦水

IPC: G06F11/20 ,  H04L29/08 ,  H04L29/12

Abstract: 本发明公开了一种异地容灾方法、装置、系统、电子设备及存储介质，用以解决现有技术中数据中心切换不灵活，并且建设成本较高的问题。所述方法包括：主节点接收从节点发送的第一服务不可用信息，所述第一服务不可用信息是从节点发生故障时发送的，其中所述主节点和所述从节点均位于第一数据中心；主节点判断故障从节点的数量是否大于设定的数量阈值；如果是，则所述主节点向DNS服务器发送调用所述DNS服务器的HTTP接口的请求，使DNS服务器将进行服务的数据中心切换为第二数据中心，所述第二数据中心与所述第一数据中心位于不同区域。

公开(公告)号：CN111158962B

公开(公告)日：2023-10-13

申请号：CN201811320107.9

申请日：2018-11-07

Applicant: 中移信息技术有限公司 ,  中移(苏州)软件技术有限公司 ,  中国移动通信集团有限公司

Inventor： 徐海勇 ,  王德朋 ,  陶涛 ,  黄岩 ,  尚晶 ,  郭志伟 ,  谢帆 ,  魏瑗珍 ,  段云峰 ,  余钦水

IPC: G06F11/20 ,  H04L67/02 ,  H04L67/1004 ,  H04L67/1008 ,  H04L61/4511 ,  H04L67/60

Abstract: 本发明公开了一种异地容灾方法、装置、系统、电子设备及存储介质，用以解决现有技术中数据中心切换不灵活，并且建设成本较高的问题。所述方法包括：主节点接收从节点发送的第一服务不可用信息，所述第一服务不可用信息是从节点发生故障时发送的，其中所述主节点和所述从节点均位于第一数据中心；主节点判断故障从节点的数量是否大于设定的数量阈值；如果是，则所述主节点向DNS服务器发送调用所述DNS服务器的HTTP接口的请求，使DNS服务器将进行服务的数据中心切换为第二数据中心，所述第二数据中心与所述第一数据中心位于不同区域。

公开(公告)号：CN115408200A

公开(公告)日：2022-11-29

申请号：CN202110587723.6

申请日：2021-05-27

Applicant: 中移信息技术有限公司 ,  中国移动通信集团有限公司

Inventor： 武智晖 ,  郭志伟 ,  刘辉 ,  徐海勇 ,  陶涛 ,  尚晶 ,  江勇 ,  陈卓

IPC: G06F11/14 ,  G06F16/11 ,  G06F16/17 ,  G06F16/172

Abstract: 本发明提供一种多存储引擎的数据备份方法、装置、电子设备及存储介质，包括：创建目标数据库的基准备份集；在任一存储引擎中启动数据增量捕捉获取增量数据；由增量数据与相关的元数据信息，构成增量文件；将增量文件与基准备份集关联，生成时间点备份集。本发明提供的数据备份方法及装置，仅需要在多个存储引擎中选择记录一个增量修改，并保存为独立于每个存储引擎的增量文件，同时添加事务ID等元数据信息，使得该增量文件中能够包含需要的数据和信息，以便能够对数据库系统中的多种存储引擎进行增量备份及恢复，有效地解决了目前多存储引擎备份存在的实现复杂度高、增量数据冗余的问题，实现了每个存储引擎均能完整支持增量备份和时间点恢复。

公开(公告)号：CN115408145A

公开(公告)日：2022-11-29

申请号：CN202110587740.X

申请日：2021-05-27

Applicant: 中移信息技术有限公司 ,  中国移动通信集团有限公司

Inventor： 武智晖 ,  郭志伟 ,  刘辉 ,  徐海勇 ,  陶涛 ,  尚晶 ,  江勇 ,  陈卓

IPC: G06F9/50 ,  G06F17/18

Abstract: 本发明提供一种流计算的在线伸缩方法、装置、电子设备及存储介质，包括：获取各计算线程Task的CPU平均使用率、内存平均使用率和数据平均积压量，以计算综合压力，根据综合压力确定在线伸缩状态；根据在线伸缩状态，计算最新Task并行度，以根据最新Task并行度，制定在线伸缩策略；执行在线伸缩策略，实现对于流计算的在线伸缩。本发明提供的流计算的在线伸缩方法及装置，扩展了Flink增加伸缩判断和伸缩控制的能力，周期性地基于Task的实际计算压力，作为伸缩决策依据，以在保持平滑的前提下，自动计算出合适并行度，动态迁移状态到新的Task，在保持数据消费不中断的基础上，能更加合理的利用计算资源。

公开(公告)号：CN110609745A

公开(公告)日：2019-12-24

申请号：CN201810621461.9

申请日：2018-06-15

Applicant: 中移(苏州)软件技术有限公司 ,  中国移动通信集团有限公司

Inventor： 陶涛 ,  李杰亮 ,  黄岩 ,  尚晶 ,  李光瑞 ,  郭志伟

IPC: G06F9/50

Abstract: 本发明公开了一种作业任务的执行方法、装置、电子设备、存储介质，用以解决集群资源利用率低的问题。方法包括：获取待执行的第一作业任务针对每种资源的理论需求量；获取到的针对每种资源的理论需求量为根据在预设时间段内集群执行与第一作业任务的类型相同的其他作业任务时，针对每种资源的实际使用量确定的；判断当前保存的集群针对每种资源的剩余量是否不小于获取的对应种资源的理论需求量；若均为是，将第一作业任务及其针对每种资源的理论需求量发送给集群，使集群采用每种资源的理论需求量执行第一作业任务。因为根据相同类型的其他作业任务对资源的实际使用情况，为该第一作业任务确定资源量，在一定程度上提高了集群资源的利用率。