-
公开(公告)号:CN115237665A
公开(公告)日:2022-10-25
申请号:CN202210893252.6
申请日:2022-07-27
Applicant: 华中科技大学 , 济南浪潮数据技术有限公司 , 浪潮电子信息产业股份有限公司
Abstract: 本发明公开一种面向高密度存储服务器的快速磁盘修复方法和系统,属于计算机存储领域。包括:根据故障磁盘确定需要修复的所有条带;从正常磁盘中读取需要修复条带的所有幸存块;计算各幸存块从磁盘被读入内存所需要的时间;构建所有可能的[a,b]组合;根据各幸存块从磁盘被读入内存所需要的时间,计算各个[a,b]组合下磁盘修复时间T;采用磁盘修复时间最小对应的[a,b]组合,进行故障磁盘的修复;a表示条带内并行度,b表示条带间并行度,且a*b=内存中可容纳数据块的数量。本发明根据当前的服务器内所有磁盘的传输速度状况,选择合理的条带内并行度和条带间并行度,使得磁盘修复时间得以最小化,从而尽可能快地修复出丢失数据,提升修复性能与系统的可靠性。
-
公开(公告)号:CN118585585A
公开(公告)日:2024-09-03
申请号:CN202410726943.6
申请日:2024-06-06
Applicant: 华中科技大学 , 济南浪潮数据技术有限公司
IPC: G06F16/27 , G06F16/2458 , G06F16/22 , G06F18/23
Abstract: 本发明公开了一种面向云数据分析场景的水平数据分区方法,其自适应识别历史查询负载在各属性的热点查询区间、具有局部性的查询模式和离群查询区间,由此对历史查询负载灵活泛化,兼顾未来查询负载与历史查询负载的相似性和差异性;设计了基于概率的成本模型,准确地评估泛化查询负载的开销,并考虑了数据属性间的相关性,以更精确地量化分区动作的收益,从而优化分区决策;设计了基于概率成本模型的两阶段水平分区方法,首先使用轴垂直超平面切割,使得分区方案尽可能细粒度地对齐泛化查询负载,保证数据跳过效率;针对轴垂直超平面切割面对倾斜数据失效的问题,设计了排序二分切割作为补充,增强分区方法鲁棒性的同时,进一步提升数据跳过效率。
-
公开(公告)号:CN119088320A
公开(公告)日:2024-12-06
申请号:CN202411375952.1
申请日:2024-09-29
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明公开一种分布式文件存储的配额统计方法、装置及介质,涉及分布式存储技术领域,用于实现配额统计,针对传统方案对于多客户端并发场景存在配额统计不准确的问题,提供一种分布式文件存储的配额统计方法。本方法通过协议接入层和MDS的交互实现文件配额变化量的计算,且将文件配额变化量的计算放在MDS中进行,当出现客户端并发访问文件,也即同时存在多个协议接入层向MDS更新同一文件的文件大小时,MDS利用本地的元数据锁对目标文件的元数据进行加锁,解决了并发计算配额增量的准确性问题。
-
公开(公告)号:CN118474049A
公开(公告)日:2024-08-09
申请号:CN202410445400.7
申请日:2024-04-12
Applicant: 济南浪潮数据技术有限公司
IPC: H04L47/80 , H04L43/10 , H04L69/16 , H04L41/5041
Abstract: 本发明实施例提供了一种超时时间设置方法、装置、设备及存储介质,包括:获取目标统计周期内广播心跳信号的成功率;在确定心跳信号的成功率大于第一预设值的情况下,获取初始心跳超时时间,初始数据传输超时时间以及数据传输信息的成功率;按照初始心跳超时时间确定目标心跳超时时间和目标选举超时时间;在确定数据传输信息的成功率与预设期望值的差值大于第二预设值时,将初始数据传输超时时间按照指数级增长/下降;在确定数据传输信息的成功率与预设期望值的差值小于第二预设值时,将上一周期设置的历史数据传输超时时间和初始数据传输超时时间的均值作为目标数据传输超时时间,本发明实施例提升了Raft集群的可用性。
-
公开(公告)号:CN118069589A
公开(公告)日:2024-05-24
申请号:CN202410459427.1
申请日:2024-04-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/16
Abstract: 本发明涉及计算机技术领域,公开了一种文件访问方法、装置、计算机设备及程序产品。其中,方法包括:获取文件访问请求,根据文件访问请求中待访问的第一文件在文件存储系统中的第一路径信息及画像数据池,确定第一文件是否满足文件预取条件;若满足文件预取条件,则确定第一文件在文件存储系统中对应的预取文件;将预取文件从文件存储系统拷贝至本地缓存中;根据第一路径信息和本地缓存中的文件,进行文件访问处理;其中,画像数据池包括文件存储系统中第一文件类型的各文件集的画像数据。本发明降低了文件存储系统的访问压力,提升了文件访问效率。
-
公开(公告)号:CN110781152A
公开(公告)日:2020-02-11
申请号:CN201910954198.X
申请日:2019-10-09
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/176 , G06F16/11
Abstract: 本申请公开了一种多协议数据共享架构,包括文件存储应用、对象存储应用、文件存储元数据池、对象存储元数据池及文件存储数据池;其中:文件存储数据池用于以文件协议的方式存储共享数据;文件存储元数据池用于以文件协议的方式存储共享数据对应的元数据;对象存储元数据池用于以对象协议的方式存储共享数据对应的元数据;文件存储应用用于采用文件协议访问文件存储元数据池及文件存储数据池;对象存储应用用于采用对象协议访问对象存储元数据池,以及用于利用自身接口转换得到的文件协议访问接口访问文件存储数据池。本申请仅需进行接口转换即可实现对象协议及文件协议的数据共享,有效避免了因数据格式转换存在的效率问题及存储空间占用问题。
-
公开(公告)号:CN120010792A
公开(公告)日:2025-05-16
申请号:CN202510491043.2
申请日:2025-04-18
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请公开了一种数据写入方法和系统、存储介质、电子设备及计算机程序产品,涉及存储系统领域,包括:通过存储客户端中的第一处理单元对第一数据流进行编码计算,并将编码计算后的第一数据流存储至第一处理单元中的缓存单元中;进而根据第一数据流待写入的第一固态硬盘的第一地址和第一数据流所在的缓存单元的第二地址的第一标识符即可使包含第一固态硬盘的第一存储节点将编码计算后的第一数据流写入至第一固态硬盘中。也就是说,本申请实施例通过存储客户端而非CPU进行数据流处理中的编码计算任务,从而解决了相关技术中通过CPU运行软件执行数据流处理中的编码运算任务,CPU在处理编码运算时,还需要处理其他业务,导致的内存资源的抢占问题。
-
公开(公告)号:CN119003127A
公开(公告)日:2024-11-22
申请号:CN202411203477.X
申请日:2024-08-29
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种任务调度方法、装置、设备及计算机可读存储介质,应用于智能调度技术领域,包括:确定非一致性存储访问节点对应的前端处理核心和后端处理核心;确定后端任务和前端任务对应的处理线程;确定每个处理线程关联的前端处理核心或后端处理核心,当处理线程中的任务需要执行时,利用关联的前端处理核心或后端处理核心对处理线程上的任务进行处理;利用负载均衡策略确定空闲的后端处理核心,利用空闲的后端处理核心执行剩余的任务。本发明利用静态调度处理非阻塞前端任务,利用负载均衡策略动态调度空闲的后端处理核心执行后端任务,保证整体系统的高效推进,且一个处理线程关联一个处理核心,减少进程切换次数,提高了任务调度的效率。
-
公开(公告)号:CN118227579A
公开(公告)日:2024-06-21
申请号:CN202410390143.1
申请日:2024-03-31
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种跨域集群数据的处理方法、装置、设备及介质,涉及分布式存储技术领域。该跨域集群数据的处理方法中,首先获取集群所分布的所有地域对应的第一目标日志项,保证第一目标日志项是集群中各地域均存在至少一半的节点达成一致后确定出的日志项;然后,从所有第一目标日志项中获取第二目标日志项,由于第二目标日志项是最早发送至从节点的日志项,故而,保证了所有地域中的从节点中均接收到了该日志项。当以第二目标日志项响应客户端发送的请求时,集群中各从节点中均存在该日志项,即客户端请求操作的数据不会丢失,保证了数据一致性,保证了用户业务的正常运行。
-
公开(公告)号:CN118069589B
公开(公告)日:2024-08-27
申请号:CN202410459427.1
申请日:2024-04-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/16
Abstract: 本发明涉及计算机技术领域,公开了一种文件访问方法、装置、计算机设备及程序产品。其中,方法包括:获取文件访问请求,根据文件访问请求中待访问的第一文件在文件存储系统中的第一路径信息及画像数据池,确定第一文件是否满足文件预取条件;若满足文件预取条件,则确定第一文件在文件存储系统中对应的预取文件;将预取文件从文件存储系统拷贝至本地缓存中;根据第一路径信息和本地缓存中的文件,进行文件访问处理;其中,画像数据池包括文件存储系统中第一文件类型的各文件集的画像数据。本发明降低了文件存储系统的访问压力,提升了文件访问效率。
-
-
-
-
-
-
-
-
-