一种分布式存储系统容量统计方法、装置、设备及介质

    公开(公告)号:CN116431457A

    公开(公告)日:2023-07-14

    申请号:CN202310416347.3

    申请日:2023-04-13

    Abstract: 本申请公开了一种分布式存储系统容量统计方法、装置、设备及介质,涉及分布式存储技术领域,包括:当监测到分布式存储系统的目标对象中有数据块写入时,获取数据块的起始位置与终止位置;根据起始位置和终止位置生成一个目标数据集合,并将目标数据集合更新到位于所述目标对象的实际数据占用集合中;遍历位于同一个归置组上的所有目标对象中的实际数据占用集合,分别计算每个实际数据占用集合中所有集合的差值之和,得到各个目标对象的实际数据占用量;根据所有目标对象的实际数据占用量得到分布式存储系统的容量统计结果。本申请能够准确的统计出分布式存储系统的实际数据占用量,提升分布式存储系统的可用性与可靠性。

    一种绑定池放置组选主的方法、装置、设备及可读介质

    公开(公告)号:CN114138181A

    公开(公告)日:2022-03-04

    申请号:CN202111237021.1

    申请日:2021-10-24

    Abstract: 本发明提供了一种分布式存储中绑定池放置组选主的方法、装置、设备及可读介质,方法包括:获取基准池中的PG,并根据PG的对应关系获取绑定池中对应的PG,将获取到的PG放入变量结构中;遍历基准池中PG的成员,获取成员所在节点的IP,将获取到的IP作为关键字,将成员和PG的ID作为一组值保存在数据结构中;遍历绑定池中对应的PG的成员,判断成员所在节点IP是否能够在数据结构中查询到;响应于成员所在节点IP能够在数据结构中查询到,将成员和PG的ID作为一组值追加到IP关键字的值的数据结构中;获取每个IP中的值的个数,选取IP中值的个数最多的结构中的成员作为各自PG的主。通过使用本发明的方案,能够提高存储集群的性能,提高产品竞争力。

    基于双存储池的放置组调整方法、系统、装置及存储介质

    公开(公告)号:CN113791730A

    公开(公告)日:2021-12-14

    申请号:CN202110938494.8

    申请日:2021-08-16

    Abstract: 本发明提出的一种基于双存储池的放置组调整方法、系统、装置及存储介质,所述方法包括:根据池内放置组的数量将双存储池分为参照池和绑定池;遍历访问绑定池内的放置组;绑定池内的任一放置组时,首先获取当前访问的放置组PG1和参照池内对应的放置组PG2;然后,判断放置组PG1的主和放置组PG2的主是否在同一物理节点上;若是,继续遍历访问绑定池内的放置组;若否,采用遍历搜索机制在绑定池中搜索可替换的放置组PG3;找到后,对放置组PG3与放置组PG2进行整体互换。本发明能够使两个绑定的存储池的对应的放置组的主尽量在同一个物理节点上,减小了网络的压力,提高存储集群的性能,提高产品竞争力。

    故障域扩容方法、装置、计算机设备及存储介质

    公开(公告)号:CN117631996A

    公开(公告)日:2024-03-01

    申请号:CN202311371766.6

    申请日:2023-10-20

    Inventor: 孙润宇 侯斌

    Abstract: 本发明涉及计算机技术领域,公开了故障域扩容方法、装置、计算机设备及存储介质。包括:获取扩容指令、与待扩容存储池的对应的标识、目标扩容信息、目标故障域类型以及目标故障域结构;基于扩容指令获取待扩容存储池所在集群的初始扩容配置文件;根据待扩容存储池的标识以及初始扩容配置文件生成与待扩容存储池对应的备份扩容配置文件;根据待扩容存储池的目标扩容信息、待扩容存储池的标识、待扩容存储池的目标故障域类型以及待扩容存储池的目标故障域结构对备份扩容配置文件进行更新,生成目标扩容配置文件;将初始扩容配置文件更换为目标扩容配置文件。本发明可以提高故障域扩容操作的便利性。

    一种数据重构方法、装置、电子设备及存储介质

    公开(公告)号:CN115167780A

    公开(公告)日:2022-10-11

    申请号:CN202210893150.4

    申请日:2022-07-27

    Abstract: 本申请公开了一种数据重构方法、装置、电子设备及存储介质,所属的技术领域为分布式存储技术领域。所述数据重构方法包括:接收数据重构请求,并根据所述数据重构请求确定异常对象存储设备;若所述异常对象存储设备为所述目标对象存储设备的从设备,则确定所述异常对象存储设备对应的备选对象存储设备;确定所有所述备选对象存储设备中预设归置组的数量;根据所述预设归置组的数量从所有所述备选对象存储设备中选取k个待读对象存储设备;对k个所述待读对象存储设备中的数据进行纠删算法的编解码计算,得到恢复数据,并将所述恢复数据发送至新的对象存储设备。本申请能够提高分布式存储集群的数据重构效率。

    一种恢复备份的方法、装置及介质

    公开(公告)号:CN114995760A

    公开(公告)日:2022-09-02

    申请号:CN202210609486.3

    申请日:2022-05-31

    Abstract: 本申请公开了一种恢复备份的方法、装置及介质,涉及分布式存储技术领域。该方法包括:在第一磁盘拔出的情况下,更新配置文件;其中,配置文件为记录构成RAID1的两块磁盘的信息的文件,磁盘包括第一磁盘以及第二磁盘;在第一磁盘插入的情况下,获取第二磁盘的状态;根据第二磁盘的状态以及更新后的配置文件重构RAID1以恢复备份。磁盘拔出可认为是磁盘故障,磁盘插入可认为是磁盘恢复,在磁盘故障恢复后,该方法中依据磁盘的状态以及更新后的配置文件重构RAID1,恢复了数据的备份,降低故障对集群整体稳定性的影响,提升了分布式存储系统的可靠性、故障场景下的业务稳定性。

    分布式文件系统PG选成员的方法、装置、设备及可读介质

    公开(公告)号:CN114138736A

    公开(公告)日:2022-03-04

    申请号:CN202111276654.3

    申请日:2021-10-29

    Abstract: 本发明提供了一种分布式文件系统PG选成员的方法、装置、设备及可读介质,该方法包括:响应于OSD中有成员发生故障,通过crush算法和upmap纠正表计算发生故障的OSD中PG的新成员;响应于PG进行信息同步,判断故障的OSD中PG的新成员是否符合故障域;响应于故障的OSD中PG的新成员不符合故障域,将OSD中PG的新成员删除并使故障的OSD处于等待状态并向监控器发送消息;响应于监控器接收到消息,清除upmap纠正表中的信息后将新的osdmap表发送给故障的OSD;故障的OSD选取新的osdmap表中的成员作为PG的成员。通过使用本发明的方案,能够保障选取到的成员符合故障域,避免发生故障的情况造成的前端业务卡住和数据丢失的问题。

    一种分布式集群数据重构方法、装置、及程序产品

    公开(公告)号:CN118312103A

    公开(公告)日:2024-07-09

    申请号:CN202410483397.8

    申请日:2024-04-19

    Abstract: 本发明涉及分布式集群技术领域,公开了一种分布式集群数据重构方法、装置、及程序产品,本发明方法响应于分布式集群的重构指令;根据待恢复对象标识信息判断内存中是否存储待恢复对象的数据,当确认内存中已经存储,则从内存中读取待恢复对象的数据,作为目标恢复对象的数据;或者,当确认内存中未存储,则从硬盘中读取待恢复对象的数据,作为目标恢复对象的数据,并将目标恢复对象的数据存储至内存,目标恢复对象的数据构建恢复消息;将恢复消息下发至目标对象存储设备,完成数据重构。通过数据重构和读写操作可以在内存中并行进行,减少了与硬盘的资源竞争,避免了现有技术中存在的加锁和解锁过程,进而有效地提升了数据重构的效率。

    一种分布式存储系统的数据一致性校验方法、装置及设备

    公开(公告)号:CN113672167B

    公开(公告)日:2023-12-22

    申请号:CN202110779585.1

    申请日:2021-07-09

    Abstract: 本申请公开了一种分布式存储系统的数据一致性校验方法,该方法通过设置一致性校验的配置信息,能够确定每次一致性校验的开始时间和结束时间,实现一致性校验过程的全自动化,而且,在达到本次一致性校验的结束时间时,即便没有校验完存储池的全部对象也可以停止本次一致性校验,并记录一致性校验的进度信息,下一次一致性校验时可以根据进度信息从本次校验位置继续进行一致性校验,显著提升了一致性校验过程的灵活性。此外,本申请还提供了一种分布式存储系统的数据一致性校验装置、设备及可读存储介质,其技术效果与上述方法的技术效果相对应。

    存储池的重构速度控制方法及相关组件

    公开(公告)号:CN115480709A

    公开(公告)日:2022-12-16

    申请号:CN202211260273.0

    申请日:2022-10-14

    Abstract: 本发明公开了一种存储池的重构速度控制方法及相关组件,涉及存储领域,预先接收存储池中的放置组发送的放置组中的对象的信息;按照为一个放置组恢复一个对象的额度,根据对象的信息为对象分配带宽;在为一个对象分配带宽完成时,从待分配带宽中去除带宽,直至带宽分配完成。依次为每个对象分配带宽,在分配带宽完成后从待分配带宽中去除该带宽,通过对带宽的分配控制,可以使得对重构速度控制得更加精确,解决了控制不住重构速度的问题,提高产品的易用性和可靠性,提高了产品竞争力。

Patent Agency Ranking