一种聚合多版本小对象的方法、装置及设备

    公开(公告)号:CN113821166B

    公开(公告)日:2024-09-20

    申请号:CN202110962671.6

    申请日:2021-08-20

    Abstract: 本申请公开了一种聚合多版本小对象的方法、装置及设备,该方法包括:首先获取待聚合的至少一个目标多版本小对象,然后,对至少一个目标多版本小对象进行标记,并将标记记录到存储池中,接着,当获取到的目标多版本小对象的数量达到预设数量时,根据标记对目标多版本小对象进行聚合,并将得到的大对象进行存储;或者,当根据标记对目标多版本小对象进行聚合得到的大对象达到预设数值时,停止进行聚合,并将得到的大对象进行存储。从而能够减少分布式对象存储系统中小对象的存储数量,提高重构速度和兼容性,进而提高系统的存储速度。

    数据同步方法、装置、系统、电子设备及可读存储介质

    公开(公告)号:CN117596256B

    公开(公告)日:2024-03-22

    申请号:CN202410078564.0

    申请日:2024-01-19

    Abstract: 本发明公开了一种数据同步方法、装置、系统、电子设备及可读存储介质,应用于分布式存储技术领域。其中,方法包括开启千亿桶功能的源站点主动向目标站点发送桶分片分裂完成通知请求,以将新分裂桶分片数据存储为同步进度对象数据。当检测到桶分片处于全量同步状态,向源站点发送源桶分片的分裂状态查询请求,并从存储池中获取源桶分片的同步进度对象数据;根据源桶分片的分裂状态和同步进度对象数据确定满足新桶分片全量同步触发条件,对源桶分片的新桶分片进行全量同步。本发明可以解决相关技术千亿桶的全量同步出现少对象的问题,能够实现目标站点在对分布式对象存储系统的千亿桶全量同步时与源站点的数据完全一致。

    一种通用的访问审计日志的方法、系统、设备和存储介质

    公开(公告)号:CN117632865A

    公开(公告)日:2024-03-01

    申请号:CN202311368788.7

    申请日:2023-10-20

    Abstract: 本发明提供一种通用的访问审计日志的方法、系统、设备和存储介质,方法包括:设置统一日志采集记录接口以供各种协议调用;周期性收集全部业务节点的日志文件,并将所述日志文件写入管理节点数据库;周期性将管理节点数据库中的数据转存到共享存储;以及响应于接收到转发指令,根据所述转发指令将日志文件转发到指定日志服务器。本发明不仅支持访问审计日志的采集、存储、查询、下载,还对各协议、各模块均适用,大大提升了访问审计功能的通用性、易用性、可扩展性。

    一种文件处理方法、系统、设备及计算机可读存储介质

    公开(公告)号:CN113268456B

    公开(公告)日:2023-12-08

    申请号:CN202110551278.8

    申请日:2021-05-20

    Abstract: 本申请公开了一种文件处理方法、系统、设备及计算机可读存储介质,应用于分布式对象存储系统的服务器,包括:获取待聚合对象;确定出待聚合对象中的目标加密对象;对待聚合对象进行聚合,得到目标聚合对象;保存目标加密对象的加密信息。本申请中,在获取待聚合对象,并确定出待聚合对象中的目标加密对象之后,便可以对待聚合对象进行聚合,也即可以对加密对象进行聚合,这是因为本申请会保存目标加密对象的加密信息,这样后续可以基于加密信息对目标加密对象进行解密等,可以保证加密对象的正常使用,提高了分布式对象存储系统的文件处理速度。本申请提供的文件处理系统、设备及计算机可读存储介质也解决了相应技术问题。

    一种数据查询方法、装置及可读存储介质

    公开(公告)号:CN115470189A

    公开(公告)日:2022-12-13

    申请号:CN202211296548.6

    申请日:2022-10-21

    Abstract: 本申请公开一种数据查询方法、装置及可读存储介质,涉及电子信息领域。本申请所提供的数据查询方法,应用于源站点,通过从目标站点中获取日志分片中的同步标记,从而获取得到对应的桶,将桶的名称发送至对应的目标站点,从而获取得到目标站点中对应的同步中的桶的配额以及源站点中的对应的桶的配额,依据两者的比值,即可获取得到对应的同步进度,对于同步速度的获取也可以通过联系周期时间获取,和以往的仅仅通过软件进行数据查询相比,由于能直接获取得到同步的进度以及速度,因此解决了当前数据同步功能中无法精准查询源站点和目的站点之间数据同步进度和速度的难题。

    一种确定op操作失败的方法、装置、设备及介质

    公开(公告)号:CN115237715A

    公开(公告)日:2022-10-25

    申请号:CN202210870899.7

    申请日:2022-07-22

    Abstract: 本申请公开了一种确定op操作失败的方法、装置、设备及介质,涉及分布式存储技术领域。该方法包括:根据op操作建立map缓存容器和rados对象,map缓存容器与rados对象一一对应;获取op操作的操作信息并存储于map缓存容器,之后将操作信息下刷并存储于rados对象;当rados对象中含有表征op操作失败的操作信息时确定失败。由于建立的map缓存容器能够存储op操作的全部操作信息,并存储在一起建立的rados对象中,在rados对象中若判断含有表征op操作失败的操作信息,则确定op操作失败。无需技术人员通过日志分析op操作是否失败,提升了查错效率和存储效率。

    桶分片处理方法、装置、设备及介质

    公开(公告)号:CN114995759A

    公开(公告)日:2022-09-02

    申请号:CN202210608909.X

    申请日:2022-05-31

    Abstract: 本申请公开了一种桶分片处理方法、装置、设备及介质,涉及计算机技术领域,该方法包括:判断当前任务队列中是否存在待处理桶分片,若存在则从当前任务队列中提取出当前待处理桶分片,获取下一任务队列;对下一任务队列进行第一预设加锁处理,对当前待处理桶分片进行重分片得到若干个目标桶分片;基于目标桶分片的分片数量对所有第一对象进行分区得到若干组第二对象,将每一组第二对象转移至对应的目标桶分片中;对下一任务队列进行第一预设解锁处理,将下一任务队列更新为当前任务队列,重新跳转至判断当前任务队列中是否存在待处理桶分片的步骤。能够降低重分片对前端业务的负面影响。

    一种文件处理方法、系统、设备及计算机可读存储介质

    公开(公告)号:CN113268456A

    公开(公告)日:2021-08-17

    申请号:CN202110551278.8

    申请日:2021-05-20

    Abstract: 本申请公开了一种文件处理方法、系统、设备及计算机可读存储介质,应用于分布式对象存储系统的服务器,包括:获取待聚合对象;确定出待聚合对象中的目标加密对象;对待聚合对象进行聚合,得到目标聚合对象;保存目标加密对象的加密信息。本申请中,在获取待聚合对象,并确定出待聚合对象中的目标加密对象之后,便可以对待聚合对象进行聚合,也即可以对加密对象进行聚合,这是因为本申请会保存目标加密对象的加密信息,这样后续可以基于加密信息对目标加密对象进行解密等,可以保证加密对象的正常使用,提高了分布式对象存储系统的文件处理速度。本申请提供的文件处理系统、设备及计算机可读存储介质也解决了相应技术问题。

    对象版本的处理方法及装置、程序产品、存储介质

    公开(公告)号:CN118151993A

    公开(公告)日:2024-06-07

    申请号:CN202410385125.4

    申请日:2024-03-29

    Inventor: 何文龙 武模仁

    Abstract: 本申请实施例提供了一种对象版本的处理方法及装置、程序产品、存储介质,其中,该方法包括:从目标存储桶的元数据信息中获取对象版本参数,其中,对象版本参数中包括允许目标存储桶存储目标对象的对象版本的第一数量,目标存储桶是多个存储桶中用于存储目标对象的桶;在确定目标存储桶中已存储的N个对象版本的数量大于第一数量的情况下,从分布式对象存储系统中的存储池中获取第一日志;基于第一日志从目标存储桶中删除M个目标对象版本,以使目标存储桶中剩余的对象版本的数量小于或等于第一数量。通过本申请,解决了相关技术中对对象版本的处理的问题,达到高效利用存储桶的效果。

    一种对象拷贝方法、装置、设备及存储介质

    公开(公告)号:CN113806107B

    公开(公告)日:2024-02-13

    申请号:CN202110981471.5

    申请日:2021-08-25

    Abstract: 本发明公开了一种对象拷贝方法、装置、设备及存储介质;在本方案中,查找待拷贝的目标对象后,先将目标对象的目标元数据拷贝至内存,将内存中的目标元数据写入拷贝的目的位置,并利用目标元数据在目的位置下创建软连接,以便在目的位置下通过软连接访问目标对象的真正数据;在满足真正数据拷贝条件后,根据目标元数据将目标对象的真正数据拷贝至内存,并将内存中的真正数据写入目的位置。可见,本方案进行对象拷贝时,可暂时不将目标对象的真正数据进行拷贝,从而避免出现内存暴涨、IO过大的问题,并且通过创建软连接,还可以保证目标对象的正常访问,提高了对象的拷贝效率,为用户带来了良好的使用体验。

Patent Agency Ranking