-
公开(公告)号:CN107046812B
公开(公告)日:2021-02-12
申请号:CN201580056658.7
申请日:2015-12-08
Applicant: 华为技术有限公司
IPC: G06F12/00
Abstract: 一种数据保存方法和装置,用于对保存于数据库的数据进行重删和压缩处理。该方法包括:将待保存数据块和参照数据块分别划分为大小相同的N个待保存子数据块,比较对应相同位置标识的待保存子数据块和参照子数据块,从N个待保存子数据块中确定可重删子数据块和不可重删子数据块,对可重删子数据块进行重删操作,选择不可重删子数据块的代表子数据块,并将不可重删子数据块的数据与代表子数据块的数据进行异或操作,使用游程编码对异或操作的结果进行压缩,并保存压缩结果和不可重删子数据块的位置信息。通过对待保存数据块的重删和压缩操作,可以减小保存待保存数据块需要的存储空间。
-
公开(公告)号:CN110968256A
公开(公告)日:2020-04-07
申请号:CN201811157257.2
申请日:2018-09-30
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 一种数据处理方法及装置,该方法可包括:第一计算节点接收客户端发送的写入命令,所述第一计算节点根据范围分区算法的路由视图以及计算节点与文件的对应关系,确定所述第一数据对应的第一文件,所述第一计算节点将所述第一数据,存储至所述第一文件,所述第一计算节点根据所述计算节点与文件的对应关系,确定所述第一计算节点所对应的第二文件,所述第一计算节点获取除所述第一计算节点外的其它计算节点所存储的第二文件,所述第一计算节点存储所获取的所述其它计算节点的第二文件,采用本申请的方法可避免计算节点写入热点的问题,且保证读取数据的速率。
-
公开(公告)号:CN107027326A
公开(公告)日:2017-08-08
申请号:CN201580002560.3
申请日:2015-11-25
Applicant: 华为技术有限公司
IPC: G06F11/14
CPC classification number: G06F11/1469 , G06F3/0608 , G06F3/0619 , G06F3/064 , G06F3/065 , G06F11/14 , G06F11/1451 , G06F11/1453 , G06F11/1458 , G06F11/2094 , H03M7/46 , H03M13/15
Abstract: 本发明实施例公开了一种存储系统数据备份和恢复的方案,存储系统中的源设备将快照Sn后写入的数据块备份到备份端设备时,将写入的数据块与快照Sn记录的写入数据块的原数据块进行逻辑操作,如同或或异或操作,再压缩逻辑操作后的数据块,提高了数据块的压缩率,从而减少了向备份端设备发送的数据量,节省了传输带宽。该方案还可应用到存储系统数据恢复场景。
-
公开(公告)号:CN106708968A
公开(公告)日:2017-05-24
申请号:CN201611095563.9
申请日:2016-12-01
Applicant: 成都华为技术有限公司
IPC: G06F17/30
Abstract: 本申请提供分布式数据库系统和分布式数据库系统中的数据处理方法。该数据处理方法包括:数据库引擎接收插入数据请求消息,插入数据请求消息携带第一数据;数据库引擎确定第一数据所属的目标页的标识信息;数据库引擎生成第一重做日志,第一重做日志包括第一数据和目标页的标识信息;数据库引擎根据第一重做日志中目标页的标识信息,确定至少一个分区中与目标页对应的目标分区;数据库引擎将第一重做日志中的第一数据和目标页的标识信息,存入目标分区中用于存储目标页的重做日志的物理地址空间,目标分区为至少一个存储节点中的目标存储节点所包括的分区。本申请的分布式数据库系统和数据处理方法使得该分布式数据库系统可以灵活动态地扩容。
-
公开(公告)号:CN104536852B
公开(公告)日:2017-01-25
申请号:CN201410852339.4
申请日:2014-12-31
Applicant: 华为技术有限公司
IPC: G06F11/16
CPC classification number: G06F11/16
Abstract: 本发明实施例公开了数据恢复方法及装置,其中,所述方法包括:所述主存储设备接收主机发送的数据恢复请求;根据所述需要恢复的数据所在的快照的标识挂载所述备份存储设备中的所述第一快照;所述主存储设备根据所述需要恢复的数据所在的快照的标识确定所述主存储设备中存储的第二快照;其中所述第二快照为可用快照;所述主存储设备确定所述第一快照与所述第二快照中共享的所述需要恢复的数据中的第一恢复数据;所述主存储设备向所述主机提供所述第二快照的所述第一恢复数据以及所述第一快照的第二恢复数据。通过本发明,能够降低主机的管理复杂度,提高备份存储设备中的数据安全性,提高恢复的速度。
-
公开(公告)号:CN106095971A
公开(公告)日:2016-11-09
申请号:CN201610439783.2
申请日:2014-02-27
Applicant: 华为技术有限公司
IPC: G06F17/30
CPC classification number: G06F16/215
Abstract: 本发明实施例提供了一种基于服务器查找数据流分割点的方法。本发明实施例中通过判断M个窗口中某一个窗口中至少部分数据是否满足预定条件,来查找数据流分割点,当某一个窗口中至少部分数据不满足预定条件,则跳过N*U个长度,获得下一个潜在分割点,提高了数据流分割点查找效率。
-
公开(公告)号:CN104169917A
公开(公告)日:2014-11-26
申请号:CN201480000347.4
申请日:2014-02-27
Applicant: 华为技术有限公司
IPC: G06F17/30
CPC classification number: G06F17/30303
Abstract: 本发明实施例提供了一种基于服务器查找数据流分割点的方法。本发明实施例中通过判断M个窗口中某一个窗口中至少部分数据是否满足预定条件,来查找数据流分割点,当某一个窗口中至少部分数据不满足预定条件,则跳过N*U个长度,获得下一个潜在分割点,提高了数据流分割点查找效率。
-
公开(公告)号:CN106775496B
公开(公告)日:2020-01-21
申请号:CN201710034639.5
申请日:2013-10-23
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本发明实施例提供的存储数据处理方法及装置,当存储空间满足预设条件时,统计各个存储单元中的无用数据块的数量,将数量最大或大于预设值的存储单元作为待回收的存储空间,将其中的有用数据搬块移到其它存储空间。因为待回收的存储单元中的无用数据块最多,所以,其中的有用数据块与其它存储单元相比最少,因此,需要进行搬移的数据块的数量最少,在回收此存储单元时,有用数据块搬移的次数最少;或者,因为待回收的存储单元中的无用数据块大于预设值,所以,能够通过预设值将搬移次数控制在预设范围内,尽量减少数据块的搬移次数。因此能够减少存储空间回收过程中的数据块的搬移次数,减轻数据块搬移对SSD的磨损。
-
公开(公告)号:CN107710165B
公开(公告)日:2020-01-03
申请号:CN201580002564.1
申请日:2015-12-15
Applicant: 华为技术有限公司
Abstract: 本发明实施例涉及用于存储节点同步业务请求的方法和装置。该方法包括:当第一存储节点在执行多个业务请求的t1至t2内发生故障时,确定该第一日志中记录的开始执行时刻在t1‑2dt至t2+2dt内的业务请求的集合为第一业务请求集合,该第二日志中记录的开始执行时刻在t1‑dt至t2+dt内的业务请求的集合为第二业务请求集合,dt为执行业务请求的最大时间跨度;确定属于该第二业务请求集合且不属于该第一业务请求集合的业务请求为该第一存储节点在发生故障期间丢失的业务请求,以便于第一存储节点执行该丢失的业务请求。本发明实施例的用于存储节点同步业务请求的方法和装置,能够准确的得到丢失的业务请求,同步正常存储节点与故障存储节点的业务请求,提高了存储系统执行业务请求的吞吐量。
-
公开(公告)号:CN106325769B
公开(公告)日:2019-05-28
申请号:CN201610698157.5
申请日:2016-08-19
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本发明实施例公开了一种数据存储的方法及装置,涉及存储技术领域,可以在执行冗余策略的同时,使用数据缩减技术减少冗余数据对存储空间的占用。具体方案为:在获得第一子数据后,计算第一子数据与第二子数据的差异值;第一子数据为新版本数据组中的一个子数据,第二子数据为新版本数据组的上一版本数据组中与第一子数据对应子数据;若第一子数据与第二子数据的差异值小于或等于第一差异阈值,仅存储第一子数据与第二子数据的差别数据,第一子数据与第二子数据的差别数据为第一子数据与第二子数据相比、第一子数据中已修改的数据的大小;若第一子数据与第二子数据的差异值大于第一差异阈值,存储第一子数据。本发明实施例应用于数据存储过程中。
-
-
-
-
-
-
-
-
-