-
公开(公告)号:CN119088320A
公开(公告)日:2024-12-06
申请号:CN202411375952.1
申请日:2024-09-29
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明公开一种分布式文件存储的配额统计方法、装置及介质,涉及分布式存储技术领域,用于实现配额统计,针对传统方案对于多客户端并发场景存在配额统计不准确的问题,提供一种分布式文件存储的配额统计方法。本方法通过协议接入层和MDS的交互实现文件配额变化量的计算,且将文件配额变化量的计算放在MDS中进行,当出现客户端并发访问文件,也即同时存在多个协议接入层向MDS更新同一文件的文件大小时,MDS利用本地的元数据锁对目标文件的元数据进行加锁,解决了并发计算配额增量的准确性问题。
-
公开(公告)号:CN118474049A
公开(公告)日:2024-08-09
申请号:CN202410445400.7
申请日:2024-04-12
Applicant: 济南浪潮数据技术有限公司
IPC: H04L47/80 , H04L43/10 , H04L69/16 , H04L41/5041
Abstract: 本发明实施例提供了一种超时时间设置方法、装置、设备及存储介质,包括:获取目标统计周期内广播心跳信号的成功率;在确定心跳信号的成功率大于第一预设值的情况下,获取初始心跳超时时间,初始数据传输超时时间以及数据传输信息的成功率;按照初始心跳超时时间确定目标心跳超时时间和目标选举超时时间;在确定数据传输信息的成功率与预设期望值的差值大于第二预设值时,将初始数据传输超时时间按照指数级增长/下降;在确定数据传输信息的成功率与预设期望值的差值小于第二预设值时,将上一周期设置的历史数据传输超时时间和初始数据传输超时时间的均值作为目标数据传输超时时间,本发明实施例提升了Raft集群的可用性。
-
公开(公告)号:CN118069589A
公开(公告)日:2024-05-24
申请号:CN202410459427.1
申请日:2024-04-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/16
Abstract: 本发明涉及计算机技术领域,公开了一种文件访问方法、装置、计算机设备及程序产品。其中,方法包括:获取文件访问请求,根据文件访问请求中待访问的第一文件在文件存储系统中的第一路径信息及画像数据池,确定第一文件是否满足文件预取条件;若满足文件预取条件,则确定第一文件在文件存储系统中对应的预取文件;将预取文件从文件存储系统拷贝至本地缓存中;根据第一路径信息和本地缓存中的文件,进行文件访问处理;其中,画像数据池包括文件存储系统中第一文件类型的各文件集的画像数据。本发明降低了文件存储系统的访问压力,提升了文件访问效率。
-
公开(公告)号:CN117573043A
公开(公告)日:2024-02-20
申请号:CN202410065117.1
申请日:2024-01-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明涉及数据存储技术领域,公开了分布式存储数据的传输方法、装置、系统、设备和介质,将读写存储缓冲区的内存地址预先注册到网卡;读写存储缓冲区具有电容保电特性。依据控制消息获取源端设备的源端内存地址;根据源端内存地址从源端设备拉取数据至自身设备的网卡。依据注册到网卡的内存地址以及数据的数据量所匹配的存储方式,将数据存储至对应的读写存储缓冲区;基于用户态驱动控制将读写存储缓冲区的数据下刷至非易失性存储介质。由于网卡中注册了读写存储缓冲区的内存地址,因此网卡可以直接将数据存储至读写存储缓冲区,整个实现过程减少了中央处理器和主机内存的参与,减少了主机内存拷贝带来的时延,提升了数据传输效率。
-
公开(公告)号:CN116405495A
公开(公告)日:2023-07-07
申请号:CN202310385997.6
申请日:2023-04-07
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/10 , H04L67/1097
Abstract: 本申请公开了一种节点处理方法、装置、设备及可读存储介质,方法包括:确定待操作节点列表;待操作节点列表包含未处理的节点;将待操作节点列表发送至其中一子集群,由子集群根据待操作节点列表确定可并行处理节点列表;接收子集群发送的可并行处理节点列表,将可并行处理节点列表发送至下一子集群,直至接收最后一子集群发送的可并行处理节点列表;对最后一子集群发送的其中一可并行处理节点列表中的节点并行处理,返回执行确定待操作节点列表的步骤,直至所有节点均完成处理。本申请公开的技术方案,将获取可并行节点的计算分解到各子集群,并对多个节点并行处理,提高节点处理效率、简便性和灵活性,且无需忽略子集群规则要求和限制集群部署。
-
公开(公告)号:CN114827178B
公开(公告)日:2024-11-05
申请号:CN202210468189.1
申请日:2022-04-29
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/1097 , G06F3/06
Abstract: 本申请公开了计算机技术领域内的一种数据处理方法、装置、设备及可读存储介质。本申请实现了控制流和数据流的分离,只需转发传输访问控制流,而数据流无需在各节点间转发,而是从客户端直接到达相应节点。并且,由于存储被访问数据的各节点可以共享客户端的内存地址,因此可实现客户端与节点间的数据直取,那么各节点可以直通客户端内存来得到数据流,从而快速完成被访问数据的读写,提升了数据访问效率和性能。相应地,本申请提供的一种数据处理装置、设备及可读存储介质,也同样具有上述技术效果。
-
公开(公告)号:CN118069589B
公开(公告)日:2024-08-27
申请号:CN202410459427.1
申请日:2024-04-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/16
Abstract: 本发明涉及计算机技术领域,公开了一种文件访问方法、装置、计算机设备及程序产品。其中,方法包括:获取文件访问请求,根据文件访问请求中待访问的第一文件在文件存储系统中的第一路径信息及画像数据池,确定第一文件是否满足文件预取条件;若满足文件预取条件,则确定第一文件在文件存储系统中对应的预取文件;将预取文件从文件存储系统拷贝至本地缓存中;根据第一路径信息和本地缓存中的文件,进行文件访问处理;其中,画像数据池包括文件存储系统中第一文件类型的各文件集的画像数据。本发明降低了文件存储系统的访问压力,提升了文件访问效率。
-
公开(公告)号:CN117130830A
公开(公告)日:2023-11-28
申请号:CN202311099960.3
申请日:2023-08-29
Applicant: 济南浪潮数据技术有限公司
IPC: G06F11/14
Abstract: 本发明涉及计算机技术领域,公开了对象的数据恢复方法、装置、计算机设备及存储介质,包括:监测放置群组中每一个备存储设备的设备状态;当监测到第一备存储设备的设备状态从故障状态恢复为正常状态,且接收到对象恢复指令时,从第一备存储设备中存储的多个对象中选取待恢复状态的目标对象;获取与目标对象对应的待恢复数据;将待恢复数据发送至第一备存储设备,以便第一备存储设备根据待恢复数据对第一备存储设备中的目标对象进行数据恢复。本发明无需将目标对象的全量数据进行恢复,大大减少了需要恢复的数据量级,可以极大的提高数据恢复速度,进而也有利于前端业务的顺利进行。
-
公开(公告)号:CN116383161A
公开(公告)日:2023-07-04
申请号:CN202310018869.8
申请日:2023-01-06
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/178 , G06F16/182
Abstract: 本申请涉及分布式存储领域,公开了一种文件同步方法、装置以及介质,通过对主目录中的文件进行同步快照以得到目标快照;根据目标快照和基准快照的对应关系确认同步类型;基准快照为最近一次同步成功时间点的数据备份;根据同步类型,调用多线程对文件进行同步。相对于当前技术中,使用单线程进行数据同步导致的同步效率较慢,采用本技术方案,通过对主集群中的文件进行快照,并与最近一次同步成功时间点的数据备份得到的基准快照进行比较,从而确认目标快照和基准快照的对应关系,并根据目标快照和基准快照的对应关系确认同步类型,根据同步类型调用多线程进行数据同步,从而提高了同步效率。
-
公开(公告)号:CN114827178A
公开(公告)日:2022-07-29
申请号:CN202210468189.1
申请日:2022-04-29
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/1097 , G06F3/06
Abstract: 本申请公开了计算机技术领域内的一种数据处理方法、装置、设备及可读存储介质。本申请实现了控制流和数据流的分离,只需转发传输访问控制流,而数据流无需在各节点间转发,而是从客户端直接到达相应节点。并且,由于存储被访问数据的各节点可以共享客户端的内存地址,因此可实现客户端与节点间的数据直取,那么各节点可以直通客户端内存来得到数据流,从而快速完成被访问数据的读写,提升了数据访问效率和性能。相应地,本申请提供的一种数据处理装置、设备及可读存储介质,也同样具有上述技术效果。
-
-
-
-
-
-
-
-
-