一种数据存储方法、系统、设备及计算机可读存储介质

    公开(公告)号:CN117724663A

    公开(公告)日:2024-03-19

    申请号:CN202410171889.3

    申请日:2024-02-07

    Inventor: 程晓煜 陶桐桐

    Abstract: 本发明公开了一种数据存储方法、系统、设备及计算机可读存储介质,涉及存储技术领域,应用于对象存储,获取待存储的目标数据;对目标数据进行哈希运算,确定目标数据对应的目标哈希槽;根据哈希槽和索引分片间的映射关系,确定目标哈希槽对应的目标索引分片;将目标数据的元数据存入目标索引分片。本发明的有益效果是:通过哈希运算确定目标数据对应的目标哈希槽,之后根据哈希槽与索引分片间的映射关系来确定目标哈希槽对应的目标索引分片,如此一来,目标数据通过目标哈希槽映射到目标索引分片,这样,改变索引分片后只需更新哈希槽与索引分片间的映射关系即可,无需更改哈希运算,可以灵活在对象存储中进行数据存储。

    一种对象存储数据迁移的方法、系统、设备和存储介质

    公开(公告)号:CN116909990A

    公开(公告)日:2023-10-20

    申请号:CN202310898845.6

    申请日:2023-07-21

    Inventor: 程晓煜 陶桐桐

    Abstract: 本发明提供一种对象存储数据迁移的方法、系统、设备和存储介质,方法包括:记录迁移开始时间,并记录源桶和目标桶所有对象和元数据的修改操作;获取待迁移对象的最后修改时间,并将所述最后修改时间与所述迁移开始时间进行比较;响应于所述最后修改时间早于所述迁移开始时间,获取所述待迁移对象的数据和元数据,并通过目标集群的对象网关写入到目标集群的目标桶内;以及响应于所述最后修改时间等于或晚于所述迁移开始时间,将待迁移对象在源桶和目标桶的数据和元数据的修改操作进行合并,并根据合并结果进行数据迁移。本发明通过在迁移过程中对源桶和目标桶的新业务进行转发和记录,达到在不影响前端业务的前提下高效且准确的对象迁移。

    一种数据存储方法、系统、设备及计算机可读存储介质

    公开(公告)号:CN117724663B

    公开(公告)日:2024-07-02

    申请号:CN202410171889.3

    申请日:2024-02-07

    Inventor: 程晓煜 陶桐桐

    Abstract: 本发明公开了一种数据存储方法、系统、设备及计算机可读存储介质,涉及存储技术领域,应用于对象存储,获取待存储的目标数据;对目标数据进行哈希运算,确定目标数据对应的目标哈希槽;根据哈希槽和索引分片间的映射关系,确定目标哈希槽对应的目标索引分片;将目标数据的元数据存入目标索引分片。本发明的有益效果是:通过哈希运算确定目标数据对应的目标哈希槽,之后根据哈希槽与索引分片间的映射关系来确定目标哈希槽对应的目标索引分片,如此一来,目标数据通过目标哈希槽映射到目标索引分片,这样,改变索引分片后只需更新哈希槽与索引分片间的映射关系即可,无需更改哈希运算,可以灵活在对象存储中进行数据存储。

    一种配额校正方法及相关组件
    4.
    发明公开

    公开(公告)号:CN117171106A

    公开(公告)日:2023-12-05

    申请号:CN202310686521.6

    申请日:2023-06-09

    Inventor: 王忠昂 程晓煜

    Abstract: 本发明公开了一种配额校正方法及相关组件,涉及分布式存储技术领域,总控服务器分别向各对象存储网关服务器下发对应的校正标识信息,该校正标识信息包括目标桶的第一标识及分片信息,且分片信息对应的桶索引分片的个数的和等于目标桶对应的桶索引分片的总个数,使得配额校正时对于各对象存储网关服务器的压力较平均,避免单个对象存储网关服务器承担过重的处理压力;根据接收到的对象存储网关服务器反馈的校正基准信息,更新目标桶对应的历史配额信息。该方案利于实现对存储集群资源的精确度量,利于后续对存储集群资源进行合理精确规划,提升了分布式存储集群这一产品的市场影响力。

    一种对象存储的生命周期管理方法和系统

    公开(公告)号:CN113419828B

    公开(公告)日:2022-07-29

    申请号:CN202110600500.9

    申请日:2021-05-31

    Inventor: 程晓煜 武模仁

    Abstract: 本发明公开一种对象存储的生命周期管理方法和系统,其中,对象存储的生命周期管理方法包括:在桶生命周期状态内关联多个桶分片生命周期子状态,其中,每个桶分片对应有至少一个RGW对象;当桶生命周期被执行时,根据所述桶分片生命周期子状态,以桶分片为粒度使用多个线程执行桶内所有桶分片生命周期。本发明的技术方案能解决现有技术中单线程处理桶生命周期,导致生命周期处理速度缓慢,难以满足用户需求的问题。

    一种对象存储的生命周期管理方法和系统

    公开(公告)号:CN113419828A

    公开(公告)日:2021-09-21

    申请号:CN202110600500.9

    申请日:2021-05-31

    Inventor: 程晓煜 武模仁

    Abstract: 本发明公开一种对象存储的生命周期管理方法和系统,其中,对象存储的生命周期管理方法包括:在桶生命周期状态内关联多个桶分片生命周期子状态,其中,每个桶分片对应有至少一个RGW对象;当桶生命周期被执行时,根据所述桶分片生命周期子状态,以桶分片为粒度使用多个线程执行桶内所有桶分片生命周期。本发明的技术方案能解决现有技术中单线程处理桶生命周期,导致生命周期处理速度缓慢,难以满足用户需求的问题。

    一种防止对象存储恶意加密的方法、装置及介质

    公开(公告)号:CN116432173A

    公开(公告)日:2023-07-14

    申请号:CN202310416604.3

    申请日:2023-04-13

    Inventor: 陶桐桐 程晓煜

    Abstract: 本申请公开了一种防止对象存储恶意加密的方法、装置及介质,涉及分布式存储技术领域。方法应用于存储桶,通过监测并解析客户端发送的请求;其中,请求为对对象的操作请求;判断请求是否是加密请求;若是,则进行告警;若否,则执行请求,并对对象进行加密。由此可知,上述方案基于存储桶设置防勒索病毒功能开关,禁止外部请求对存储桶的对象进行加密,只允许存储桶内部加密。当遇到客户端发来的加密请求时,不做处理并进行告警,有效防止了对象存储遭受病毒勒索,避免了海量恶意请求对分布式存储的软硬件资源的占用。

    一种对象存储方法、装置以及介质

    公开(公告)号:CN114968114A

    公开(公告)日:2022-08-30

    申请号:CN202210608931.4

    申请日:2022-05-31

    Inventor: 陶桐桐 程晓煜

    Abstract: 本申请涉及数据存储技术领域,公开了一种对象存储方法、装置以及介质,存储桶绑定有多个存储策略,客户端发送的对象存放在服务器的存储桶中,服务器判断存储桶中的对象的存储策略是否有多个,如果是,则说明存储桶中的对象跨池存在,在进行读写操作时需要将各对象在各自对应的存储池中进行读写。如果对象的存储策略只有一个,则确定存储桶中的对象存在于同一个存储池中,在存储策略对应的存储池中对对应的对象进行读写操作。相对于当前技术中,原有的存储桶无法访问新建的存储池,采用本技术方案,将新建存储池的存储策略绑定到原有的存储桶中,使一个存储桶有多个存储策略,在进行数据存储时能够跨池读写,无需新建存储桶。

    一种孤儿对象查找方法、装置及可读存储介质

    公开(公告)号:CN115827950A

    公开(公告)日:2023-03-21

    申请号:CN202211446925.X

    申请日:2022-11-18

    Inventor: 程晓煜 陶桐桐

    Abstract: 本申请公开了一种孤儿对象查找方法、装置及可读存储介质,应用于数据处理领域。本申请所提供的孤儿对象查找方法,通过遍历头对象所在存储池查找出头对象并获取头对象的元数据,并根据头对象的元数据查找并记录有对应的头对象的尾对象。然后遍历尾对象所在存储池查找出尾对象,滤除有对应的头对象的尾对象,将其余的尾对象判定为孤儿对象。因为根据头对象可以找到对应的尾对象,而根据尾对象不可以找到对应的头对象,因此本方案先通过头对象找到有对应关系的头对象和尾对象,这部分尾对象为正常的尾对象。然后在所有尾对象中滤除掉正常的尾对象,剩下的尾对象即为孤儿对象。本申请相比原方案减少了无效对比,提高孤儿对象的查找效率。

    一种对象数据的存储方法、装置及介质

    公开(公告)号:CN115525219A

    公开(公告)日:2022-12-27

    申请号:CN202211000165.X

    申请日:2022-08-19

    Inventor: 程晓煜 陶桐桐

    Abstract: 本发明公开了一种对象数据的存储方法、装置及介质,适用于数据存储技术领域。借助AEP文件低延时、非易失、寿命高的特点,将待聚合的对象数据写入AEP文件中,控制聚合线程遍历AEP文件内的对象数据;当对象数据满足聚合要求时,对满足聚合要求的对象数据聚合为rados对象,并下刷至HDD盘中以便完成对象数据的存储。将现有的离线聚合从NVME盘向HDD盘的数据写入调整为AEP文件到HDD盘,缓解了现有的离线聚合方式的写放大、下刷不及时的问题,提高对象的写入速度和聚合效率,通过对象聚合,减少rados对象的数量,提高重构速度和系统的性能,同时提高HDD盘的空间利用率和故障恢复速度。

Patent Agency Ranking