-
公开(公告)号:CN113268456B
公开(公告)日:2023-12-08
申请号:CN202110551278.8
申请日:2021-05-20
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/16 , G06F16/182 , G06F21/60
Abstract: 本申请公开了一种文件处理方法、系统、设备及计算机可读存储介质,应用于分布式对象存储系统的服务器,包括:获取待聚合对象;确定出待聚合对象中的目标加密对象;对待聚合对象进行聚合,得到目标聚合对象;保存目标加密对象的加密信息。本申请中,在获取待聚合对象,并确定出待聚合对象中的目标加密对象之后,便可以对待聚合对象进行聚合,也即可以对加密对象进行聚合,这是因为本申请会保存目标加密对象的加密信息,这样后续可以基于加密信息对目标加密对象进行解密等,可以保证加密对象的正常使用,提高了分布式对象存储系统的文件处理速度。本申请提供的文件处理系统、设备及计算机可读存储介质也解决了相应技术问题。
-
公开(公告)号:CN110781152B
公开(公告)日:2022-04-22
申请号:CN201910954198.X
申请日:2019-10-09
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/176 , G06F16/11
Abstract: 本申请公开了一种多协议数据共享架构,包括文件存储应用、对象存储应用、文件存储元数据池、对象存储元数据池及文件存储数据池;其中:文件存储数据池用于以文件协议的方式存储共享数据;文件存储元数据池用于以文件协议的方式存储共享数据对应的元数据;对象存储元数据池用于以对象协议的方式存储共享数据对应的元数据;文件存储应用用于采用文件协议访问文件存储元数据池及文件存储数据池;对象存储应用用于采用对象协议访问对象存储元数据池,以及用于利用自身接口转换得到的文件协议访问接口访问文件存储数据池。本申请仅需进行接口转换即可实现对象协议及文件协议的数据共享,有效避免了因数据格式转换存在的效率问题及存储空间占用问题。
-
公开(公告)号:CN113687780A
公开(公告)日:2021-11-23
申请号:CN202110872204.4
申请日:2021-07-30
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明提供一种分布式存储服务端QoS优化方法、系统、终端及存储介质,包括:预先设置服务质量模板的各参数项的取值范围;利用随机算法根据各参数项的取值范围生成多目标优化算法的初始种群;预先构建基于服务质量模板的参数项取值的客户端请求处理速度目标函数和内部请求处理速度目标函数;利用客户端请求处理速度目标函数和内部请求处理速度目标函数计算种群适应度;按非支配排序方法选择适应度高的种群进行优化迭代,得到服务质量模板的参数项取值最优方案集。本发明可有效处理调度服务器内外的I/O请求,得到最优的配置参数,使用者可根据这些最优解集以及自己的实际需要来配置QoS模板参数,从而提高集群的服务质量。
-
公开(公告)号:CN113612811A
公开(公告)日:2021-11-05
申请号:CN202110682237.2
申请日:2021-06-20
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种在多通道中客户端挂载的方法、系统、设备和存储介质,方法包括:响应于服务端接收到客户端发送的谈判请求,从所述谈判请求中获取所述客户端的全局唯一标识符;将所述全局唯一标识符和所述服务端的IP地址组成共享标识,通过哈希算法将所述共享标识转换成键值;判断数据库中是否存在所述键值的记录;以及响应于所述数据库中不存在所述键值的记录,将所述键值写入所述数据库中,并建立所述服务端和所述客户端的连接以形成挂载。本发明通过将客户端的全局唯一标识符和服务端的IP地址组成共享标识,通过哈希算法将共享标识转换成键值,从而降低了客户端在SMB服务中使用不相同服务端导致的访问集群失败的概率。
-
公开(公告)号:CN113485852A
公开(公告)日:2021-10-08
申请号:CN202110602925.3
申请日:2021-05-31
Applicant: 济南浪潮数据技术有限公司
IPC: G06F9/54
Abstract: 本发明公开分布式对象存储系统的用量统计信息下刷方法和装置,其中,分布式对象存储系统的用量统计信息下刷方法包括:在启动对象存储网关时,创建全局数据结构;使用对象存储网关的业务线程,将所有用量统计信息下发至全局数据结构;使用全局数据结构打包用量统计信息,按照预设定时下刷机制将打包后的多条用量统计信息统一下刷至对象存储层。本发明的技术方案能解决现有技术中的用量统计方案存在写放大并且对读写性能影响较大的问题。
-
公开(公告)号:CN113419676A
公开(公告)日:2021-09-21
申请号:CN202110656322.1
申请日:2021-06-11
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明提供了一种数据远程复制方法、系统、存储介质及设备,方法包括:将本端存储池中的各主卷与远端存储池中对应的从卷分别建立远程复制关系,并将各主卷中的已有数据分别通过远程复制关系复制到对应的从卷中;响应于预设周期开始,将各主卷放入本端同步组,且将对应的从卷放入远端同步组,以得到具有映射关系的本端同步组与远端同步组,并记录映射关系;通过监测进程监测是否存在具有映射关系的本端同步组和远端同步组;响应于存在,为本端同步组中的各主卷创建若干快照,并在预设周期结束时基于快照将各主卷的新增数据分别通过远程复制关系复制到对应从卷中。本发明实现了在大规模存储集群中对大量存储卷的一致管理,提高了数据容灾效率。
-
公开(公告)号:CN113268456A
公开(公告)日:2021-08-17
申请号:CN202110551278.8
申请日:2021-05-20
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/16 , G06F16/182 , G06F21/60
Abstract: 本申请公开了一种文件处理方法、系统、设备及计算机可读存储介质,应用于分布式对象存储系统的服务器,包括:获取待聚合对象;确定出待聚合对象中的目标加密对象;对待聚合对象进行聚合,得到目标聚合对象;保存目标加密对象的加密信息。本申请中,在获取待聚合对象,并确定出待聚合对象中的目标加密对象之后,便可以对待聚合对象进行聚合,也即可以对加密对象进行聚合,这是因为本申请会保存目标加密对象的加密信息,这样后续可以基于加密信息对目标加密对象进行解密等,可以保证加密对象的正常使用,提高了分布式对象存储系统的文件处理速度。本申请提供的文件处理系统、设备及计算机可读存储介质也解决了相应技术问题。
-
公开(公告)号:CN113608674B
公开(公告)日:2024-02-23
申请号:CN202110709741.7
申请日:2021-06-25
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种实现分布式块存储系统读写的方法及装置,该方法包括:获取IO向量队列参数,当IO向量队列参数为writev时,采用缓存暂存的方法,对分布式块存储系统进行聚集写操作;当IO向量队列参数为readv时,采用内存转换的方法,对分布式块存储系统进行散布读操作;当IO向量队列参数为write/read时,采用缓存暂存与合并下发的方法,将多个缓存区的连续读写请求,统一下发至分布式块存储系统。该系统包括:IO向量参数获取模块、聚集写模块、散布读模块和连续读写模块。通过本申请,能够有效提高分布式块存储系统的存储效率。
-
公开(公告)号:CN113625959B
公开(公告)日:2023-12-29
申请号:CN202110745186.3
申请日:2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据处理方法和装置,多个数据大小不超过第一阈值的元对象聚合得到第一条带对象,在存在元对象删除时,可以获取一级位图信息;根据所述一级位图信息确定二级位图信息,所述二级位图信息记录了第一条带对象中每个元对象的状态信息;根据所述二级位图信息中的状态信息,确定所述第一条带对象中每个元对象的有效性;根据每个元对象的有效性对所述第一条带对象进行处理。这样,便可以根据聚合后第一条带对象中每个元对象的有效性,对无效数据进行垃圾回收处理或碎片整理,以提高存储空间有效利用率,大大降低存储空间的浪费。
-
公开(公告)号:CN113609093B
公开(公告)日:2023-12-22
申请号:CN202110744220.5
申请日:2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/17
Abstract: 本申请提供一种分布式文件系统的逆序读方法,具体技术方案如下包括:接收逆序读请求;将上一次预读的开始位置作为触发位,设置预读偏移量进行4M对齐;根据对齐的预设偏移量计算预读文件大小,并根据所述预读文件大小重新计算预读偏移量,并确定预读开始位置和预读长度;根据所述预读开始位置和所述预读长度异步获取数据,并将数据加载到缓存。本申请能快速获取数据,提高带宽与并发量。通过实现逆序预读能够进一步实现逆序读的异步读取,有效提高CPU的使用效率,进一步提高读带宽与并发量。本申请还提供一种分布式文件系统的逆序读系统、计算机可读存储介质和电子设备,具有上述有益效果。
-
-
-
-
-
-
-
-
-