数据归档方法和装置以及存储系统

    公开(公告)号:CN103473298B

    公开(公告)日:2017-01-11

    申请号:CN201310400145.6

    申请日:2013-09-04

    Inventor: 谢勇 付旭东

    Abstract: 本发明公开了一种数据归档方法和装置以及存储系统。所述方法应用于包括数据访问速度不同的至少两个存储层级的存储系统,每一存储层级包含容器,所述方法包括:基于第一存储层级中的第一容器的访问引用信息判断所述第一容器是否需要向第二存储层级迁移,并在判定所述第一容器需要向所述第二存储层级迁移的情况下,在所述第二存储层级确定第二容器,将所述第一容器存储的数据块迁移到所述第二容器中,并将与所述第一容器的容器编号对应的容器地址修改为所述第二容器的容器地址。本发明将存储系统各存储层级作为同一个重删域,数据块迁移过程避免了如重复数据块查询、重写文件元数据等耗时操作,有效提高了归档场景下数据块迁移的效率。

    事务处理系统的管理方法、装置、设备及介质

    公开(公告)号:CN113495896A

    公开(公告)日:2021-10-12

    申请号:CN202010348859.7

    申请日:2020-04-28

    Abstract: 本申请提供了一种事务处理系统的管理方法,事务处理系统包括多个参与者节点,每个参与者节点存储有数据分区,每个参与者节点用于处理多个事务,其中,每个事务访问的数据分区组合包括至少一个数据分区。该方法包括:获取周期内访问各数据分区组合的事务的个数,根据周期内访问各数据分区组合的事务的个数,调整数据分区在多个参与者节点的存储。该方法可以减少参与事务的参与者节点的个数,从而减少协调者节点与参与者节点之间的交互次数,缩短事务提交的时延,提升事务提交性能。

    合并方法以及相关设备
    3.
    发明公开

    公开(公告)号:CN113051361A

    公开(公告)日:2021-06-29

    申请号:CN201911379395.X

    申请日:2019-12-27

    Abstract: 本申请提供了一种合并方法以及相关设备。所述方法包括:在满足触发条件L的情况下,计算节点将第L‑1层的SSTable[L‑1,i]移动至保护区域;计算节点根据第L层的n个SSTable,将第L‑1层的SSTable[L‑1,i]分成n个部分文件,第L‑1层的SSTable[L‑1,i]的键值范围分别和第L层的每个SSTable存在重叠部分;建立每个部分文件和第L层的每个SSTable的关联关系,任一关联关系用于在计算节点向SSTable[L,N]读取键值为键值KN的KV数据时,引导计算节点向SSTable[L‑1,i]读取键值为键值KN的KV数据,KN属于键值范围[KuN,KdN],1≤N≤n。

    合并处理方法以及相关设备

    公开(公告)号:CN112711564A

    公开(公告)日:2021-04-27

    申请号:CN201911019899.0

    申请日:2019-10-24

    Abstract: 本申请提供了一种合并处理方法。合并节点接收计算节点发送的合并任务,合并任务包括指示信息以及增量元数据文件,其中,指示信息用于指示需要被合并的数据文件;合并节点根据指示信息以及增量元数据文件从存储系统中获取需要被合并的数据文件,数据文件包括不可写表格以及持久化数据文件;合并节点对需要被合并的数据文件执行合并任务,以生成合并结果以及更新元数据文件,合并结果包括合并后的持久化数据文件;合并节点将合并结果以及更新元数据文件存储到存储系统中;合并节点将更新元数据文件发送给计算节点。上述方案能够将前端业务和后端业务进行分离,从而提高用户体验。

    云存储系统和云存储系统中的对象处理方法

    公开(公告)号:CN109587185A

    公开(公告)日:2019-04-05

    申请号:CN201710896038.5

    申请日:2017-09-28

    Inventor: 吕金泉 付旭东

    Abstract: 本申请提供了一种云存储系统和该云存储系统中的对象处理方法。该对象处理方法包括:第一服务器接收客户端发送的第一写指令,第一写指令用于请求将第一对象写入第一桶中;第一服务器根据第一写指令,将第一对象写入第一存储节点集合的第一桶中,并将第一对象发送给第二服务器;第二服务器接收客户端发送的第二写指令,第二写指令用于请求将第二对象写入第一桶中;第二服务器根据第二写指令,将第二对象写入第二存储节点集合的第一桶中,并向第一服务器发送第二对象。本申请提供的云存储系统和该云存储系统中的对象处理方法,有助于节省资源。

    一种基于写时复制的文件系统中回收检查点的方法和装置

    公开(公告)号:CN103984609A

    公开(公告)日:2014-08-13

    申请号:CN201410231326.5

    申请日:2014-05-28

    CPC classification number: G06F17/30088 G06F17/30 G06F17/30079

    Abstract: 本发明实施例公开了一种基于写时复制的文件系统中回收检查点的方法和装置,所述回收检查点的方法包括:根据检查点回收指令获得所述文件系统在上次检查点回收时刻到本次检查点回收时刻之间分配的M个数据块,M为不小于1的整数;其中,所述M个数据块为上次检查点回收时刻到本次检查点回收时刻之间生成的检查点和快照中的至少一种分配的数据块;对所述M个数据块中需要保留的数据块的引用次数进行固定步长的加操作,从所述M个数据块中确定需要回收的第一数据块;从为所述上次检查点回收时刻保留的检查点和快照中的至少一种分配的N个数据块中确定需要回收的第二数据块,N为不小于1的整数;回收所述第一数据块和所述第二数据块。

    数据归档方法和装置以及存储系统

    公开(公告)号:CN103473298A

    公开(公告)日:2013-12-25

    申请号:CN201310400145.6

    申请日:2013-09-04

    Inventor: 谢勇 付旭东

    Abstract: 本发明公开了一种数据归档方法和装置以及存储系统。所述方法应用于包括数据访问速度不同的至少两个存储层级的存储系统,每一存储层级包含容器,所述方法包括:基于第一存储层级中的第一容器的访问引用信息判断所述第一容器是否需要向第二存储层级迁移,并在判定所述第一容器需要向所述第二存储层级迁移的情况下,在所述第二存储层级确定第二容器,将所述第一容器存储的数据块迁移到所述第二容器中,并将与所述第一容器的容器编号对应的容器地址修改为所述第二容器的容器地址。本发明将存储系统各存储层级作为同一个重删域,数据块迁移过程避免了如重复数据块查询、重写文件元数据等耗时操作,有效提高了归档场景下数据块迁移的效率。

    云存储系统和云存储系统中的对象处理方法

    公开(公告)号:CN112422630A

    公开(公告)日:2021-02-26

    申请号:CN202011127481.4

    申请日:2017-09-28

    Inventor: 吕金泉 付旭东

    Abstract: 本申请提供了一种云存储系统和该云存储系统中的对象处理方法。该对象处理方法包括:第一服务器接收客户端发送的第一写指令,第一写指令用于请求将第一对象写入第一桶中;第一服务器根据第一写指令,将第一对象写入第一存储节点集合的第一桶中,并将第一对象发送给第二服务器;第二服务器接收客户端发送的第二写指令,第二写指令用于请求将第二对象写入第一桶中;第二服务器根据第二写指令,将第二对象写入第二存储节点集合的第一桶中,并向第一服务器发送第二对象。本申请提供的云存储系统和该云存储系统中的对象处理方法,有助于节省资源。

    云存储系统和云存储系统中的对象处理方法

    公开(公告)号:CN109587185B

    公开(公告)日:2020-11-03

    申请号:CN201710896038.5

    申请日:2017-09-28

    Inventor: 吕金泉 付旭东

    Abstract: 本申请提供了一种云存储系统和该云存储系统中的对象处理方法。该对象处理方法包括:第一服务器接收客户端发送的第一写指令,第一写指令用于请求将第一对象写入第一桶中;第一服务器根据第一写指令,将第一对象写入第一存储节点集合的第一桶中,并将第一对象发送给第二服务器;第二服务器接收客户端发送的第二写指令,第二写指令用于请求将第二对象写入第一桶中;第二服务器根据第二写指令,将第二对象写入第二存储节点集合的第一桶中,并向第一服务器发送第二对象。本申请提供的云存储系统和该云存储系统中的对象处理方法,有助于节省资源。

    一种基于写时复制的文件系统中回收检查点的方法和装置

    公开(公告)号:CN103984609B

    公开(公告)日:2017-06-16

    申请号:CN201410231326.5

    申请日:2014-05-28

    CPC classification number: G06F17/30088 G06F17/30 G06F17/30079

    Abstract: 本发明实施例公开了一种基于写时复制的文件系统中回收检查点的方法和装置,所述回收检查点的方法包括:根据检查点回收指令获得所述文件系统在上次检查点回收时刻到本次检查点回收时刻之间分配的M个数据块,M为不小于1的整数;其中,所述M个数据块为上次检查点回收时刻到本次检查点回收时刻之间生成的检查点和快照中的至少一种分配的数据块;对所述M个数据块中需要保留的数据块的引用次数进行固定步长的加操作,从所述M个数据块中确定需要回收的第一数据块;从为所述上次检查点回收时刻保留的检查点和快照中的至少一种分配的N个数据块中确定需要回收的第二数据块,N为不小于1的整数;回收所述第一数据块和所述第二数据块。

Patent Agency Ranking