-
公开(公告)号:CN113268456B
公开(公告)日:2023-12-08
申请号:CN202110551278.8
申请日:2021-05-20
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/16 , G06F16/182 , G06F21/60
Abstract: 本申请公开了一种文件处理方法、系统、设备及计算机可读存储介质,应用于分布式对象存储系统的服务器,包括:获取待聚合对象;确定出待聚合对象中的目标加密对象;对待聚合对象进行聚合,得到目标聚合对象;保存目标加密对象的加密信息。本申请中,在获取待聚合对象,并确定出待聚合对象中的目标加密对象之后,便可以对待聚合对象进行聚合,也即可以对加密对象进行聚合,这是因为本申请会保存目标加密对象的加密信息,这样后续可以基于加密信息对目标加密对象进行解密等,可以保证加密对象的正常使用,提高了分布式对象存储系统的文件处理速度。本申请提供的文件处理系统、设备及计算机可读存储介质也解决了相应技术问题。
-
公开(公告)号:CN113806445A
公开(公告)日:2021-12-17
申请号:CN202111094464.X
申请日:2021-09-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/27
Abstract: 本申请公开了一种数据同步方法、装置、设备及计算机可读存储介质,应用于分布式对象存储系统,获取待同步的目标数据;确定目标数据的写入时间戳;确定各个已有同步策略的生成时间戳;将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略,确定为目标同步策略;基于目标同步策略对目标数据进行同步。本申请中,目标数据及同步策略均有相应的时间戳,且需将小于写入时间戳且与写入时间戳最接近的生成时间戳对应的已有同步策略,确定为目标同步策略,使得目标同步策略与目标数据相匹配,这样,基于目标同步策略对目标数据进行同步的话,可以提高目标数据的同步准确性。
-
公开(公告)号:CN113420082A
公开(公告)日:2021-09-21
申请号:CN202110594461.6
申请日:2021-05-28
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/27 , G06F16/2458
Abstract: 本发明公开了一种数据同步的异常检测方法和装置,方法包括:在作为数据同步的目的端的从站点遍历多个对象桶的多个桶分片,分别获取多个桶分片的最后写入对象的当前从站点对象标识;从作为数据同步的源端的主站点获取在每个桶分片中与多个当前从站点对象标识一一对应的多个当前主站点对象标识;将一一对应的多个当前从站点对象标识和多个当前主站点对象标识相互比较,并在从站点读取桶分片同步进度对象属性监视器中的历史从站点对象标识和历史主站点对象标识;基于上述比较和读取的结果确定特定桶分片为同步异常的桶分片。本发明能够精准检测数据同步的异常现象,优化数据同步功能,提升使用体验。
-
公开(公告)号:CN113268456A
公开(公告)日:2021-08-17
申请号:CN202110551278.8
申请日:2021-05-20
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/16 , G06F16/182 , G06F21/60
Abstract: 本申请公开了一种文件处理方法、系统、设备及计算机可读存储介质,应用于分布式对象存储系统的服务器,包括:获取待聚合对象;确定出待聚合对象中的目标加密对象;对待聚合对象进行聚合,得到目标聚合对象;保存目标加密对象的加密信息。本申请中,在获取待聚合对象,并确定出待聚合对象中的目标加密对象之后,便可以对待聚合对象进行聚合,也即可以对加密对象进行聚合,这是因为本申请会保存目标加密对象的加密信息,这样后续可以基于加密信息对目标加密对象进行解密等,可以保证加密对象的正常使用,提高了分布式对象存储系统的文件处理速度。本申请提供的文件处理系统、设备及计算机可读存储介质也解决了相应技术问题。
-
公开(公告)号:CN115729473A
公开(公告)日:2023-03-03
申请号:CN202211509086.1
申请日:2022-11-29
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请涉及存储技术领域,具体公开了一种数据迁移方法、数据迁移装置、数据迁移设备及存储介质,通过在执行将源存储集群至目标存储集群的全量数据迁移任务时,记录源存储集群相较于目标存储集群的数据变更日志,在执行完全量数据迁移任务之后,能够根据数据变更日志确定源存储集群相较于目标存储集群的增量数据,继而执行将增量数据自源存储集群至目标存储集群迁移的增量数据迁移任务,通过基于数据变更日志确定增量数据,相较于迁移工具将源存储集群中的所有数据以及目标存储集群中的所有数据读取到内存中比较得到增量数据的现有增量迁移方案,能够更快地确定增量数据,显著提升增量数据迁移任务的效率,继而提升存储集群间数据迁移的整体效率。
-
公开(公告)号:CN114138180A
公开(公告)日:2022-03-04
申请号:CN202111237009.0
申请日:2021-10-24
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明提供了一种分布式对象存储系统中删除对象的方法、装置、设备及可读介质,该方法包括:响应于接收到删除对象的指令,获取待删除对象的数量并将数量与阈值数量进行比较;响应于数量超过阈值数量,建立数据结构并将待删除对象的元数据存储到数据结构中;将待删除对象的元数据进行删除,并判断分布式对象存储系统是否处于预设条件;响应于分布式对象存储系统处于预设条件,遍历数据结构中存储的元数据,并在将全部元数据对应的数据删除后将数据结构删除。通过使用本发明的方案,能够解决当前对象删除速度过慢的问题,增加了对象存储删除的实用性,提高了对象存储中删除大量数据的效率,提高了分布式对象产品的市场竞争力。
-
公开(公告)号:CN113821166A
公开(公告)日:2021-12-21
申请号:CN202110962671.6
申请日:2021-08-20
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请公开了一种聚合多版本小对象的方法、装置及设备,该方法包括:首先获取待聚合的至少一个目标多版本小对象,然后,对至少一个目标多版本小对象进行标记,并将标记记录到存储池中,接着,当获取到的目标多版本小对象的数量达到预设数量时,根据标记对目标多版本小对象进行聚合,并将得到的大对象进行存储;或者,当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时,停止进行聚合,并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量,提高重构速度和兼容性,进而提高系统的存储速度。
-
公开(公告)号:CN113806107A
公开(公告)日:2021-12-17
申请号:CN202110981471.5
申请日:2021-08-25
Applicant: 济南浪潮数据技术有限公司
IPC: G06F9/54
Abstract: 本发明公开了一种对象拷贝方法、装置、设备及存储介质;在本方案中,查找待拷贝的目标对象后,先将目标对象的目标元数据拷贝至内存,将内存中的目标元数据写入拷贝的目的位置,并利用目标元数据在目的位置下创建软连接,以便在目的位置下通过软连接访问目标对象的真正数据;在满足真正数据拷贝条件后,根据目标元数据将目标对象的真正数据拷贝至内存,并将内存中的真正数据写入目的位置。可见,本方案进行对象拷贝时,可暂时不将目标对象的真正数据进行拷贝,从而避免出现内存暴涨、IO过大的问题,并且通过创建软连接,还可以保证目标对象的正常访问,提高了对象的拷贝效率,为用户带来了良好的使用体验。
-
公开(公告)号:CN113687783A
公开(公告)日:2021-11-23
申请号:CN202110876875.8
申请日:2021-07-31
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种对象聚合方法、系统、装置及计算机存储介质,应用于分布式对象存储系统,包括:S11:接收小对象至存储池;S12:判断小对象是否为覆盖写;S13:若是,则判断与小对象的OID相同的旧对象是否已经聚合;S14:若已经聚合,则将旧对象的位图信息设置为无效,执行S16;S15:若未聚合,则对旧对象直接覆盖写,执行S16;S16:在存储池中利用小对象的OID和修改时间,生成与小对象对应的对象标记;S17:聚合线程利用对象标记获取小对象,并对小对象进行聚合。本申请在新对象聚合后,生成与小对象对应的对象标记,以使聚合线程仍能够通过新的对象标记查找到新的小对象,并重新对小对象进行聚合操作,实现了在覆盖写的同时也能够进行聚合。
-
-
-
-
-
-
-
-