-
公开(公告)号：CN115510016A
公开(公告)日：2022-12-23
申请号：CN202211295543.1
申请日：2022-10-21
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/13
Abstract: 本申请公开了一种基于目录分片的客户端应答方法、装置及介质，涉及分布式文件系统领域，为了提高分布式系统的客户端元数据应答处理能力，预先对分布式文件系统中的文件进行分片处理，当接收到客户端发送的元数据请求后，按照其对应的目录分片，判断该目录分片的目录分片锁是否被占用，若没有被占用，则可处理该元数据请求。仅需要判断元数据请求对应的目录分片是否被占用，不需要考虑其他的目录分片，在同一时域内，目录分片之间并行处理，不同时域的目录分片之间也互不影响，时域之间并发处理。客户端按照目录分片数进行并发处理，提高了客户端的元数据应答并发处理能力，同时保证文件的元数据的一致性与有效性，提高分布式系统的并发处理能力。
-
公开(公告)号：CN114020503A
公开(公告)日：2022-02-08
申请号：CN202111215931.X
申请日：2021-10-19
Applicant: 济南浪潮数据技术有限公司
IPC: G06F11/07 , G06F11/14 , G06F16/17 , G06F16/172 , G06F16/182
Abstract: 本发明提出的一种分布式文件系统透明故障切换的优化方法、系统及装置，所述方法包括：启动HDFS客户端服务节点的集群数据库和服务监控自启功能；HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统；当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换；在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听；当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。本发明能够使分布式文件系统在使用HDFS协议读写入过程中实现服务的故障切换和服务节点的备份。
-
公开(公告)号：CN113553311A
公开(公告)日：2021-10-26
申请号：CN202110654032.3
申请日：2021-06-11
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/17 , G06F16/16
Abstract: 本申请公开了一种基于分布式文件系统的数据传递方法，所述方法包括：首先在源数据端和目标数据端分别构建数据结构；然后在源数据端封装源数据端和目标数据端可以共同访问的数据类型；接下来基于内存映射传递方法，将封装的数据类型传递到目标数据端，进行目标数据端的数据读写。本申请方法实现思路简单方便，通过采用映射传递技术实现了JNA数据传递的零拷贝，有效减少了数据传递过程中的内存及CPU消耗，特别是对于高负载场景，可有效减少近一半的内存及CPU消耗，避免了数据传递过程中资源的严重浪费。本申请还公开了一种基于分布式文件系统的数据传递系统、设备及存储介质，具有以上有益效果。
-
公开(公告)号：CN120032700A
公开(公告)日：2025-05-23
申请号：CN202510120705.5
申请日：2025-01-24
Applicant: 济南浪潮数据技术有限公司
IPC: G11C29/44 , G06F18/2413 , G06F18/2433 , G06N3/045 , G06N3/096 , G06F18/214
Abstract: 本发明涉及硬盘故障预测技术领域，公开了硬盘故障预测方法、装置、计算机设备及存储介质，方法包括：获取开源训练集；基于开源训练集对初始深度学习模型进行预训练，得到预训练深度学习模型；将预训练深度学习模型的网络结构和模型参数迁移到目标模型；获取待检测硬盘在历史运行过程中产生的历史硬盘自检数据和历史硬盘性能数据；以历史硬盘自检数据和历史硬盘性能数据为目标训练集，待检测硬盘的故障状态为标签，对目标模型进行训练，以获得硬盘故障预测模型；获取待检测硬盘在当前运行过程中产生的当前硬盘自检数据和当前硬盘性能数据，并将其输入硬盘故障预测模型，确定待检测硬盘的故障预测结果。本发明提高了硬盘故障诊断的准确率。
-
公开(公告)号：CN119226037A
公开(公告)日：2024-12-31
申请号：CN202411266177.6
申请日：2024-09-10
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明实施例提供了一种目录快照回滚方法、装置、电子设备及存储介质，通过获取元数据日志；构建针对所述元数据日志的目录树，以及所述目录树的叶节点；当所述元数据日志变更时，获取数据变更日志；基于所述数据变更日志确定数据变更类型，并基于所述数据变更类型修改所述目录树的所述叶节点；将经修改的所述叶节点确定为被更新节点；基于所述被更新节点确定所述目录树的层次结构；基于所述层次结构执行目录快照回滚，实现了对文件系统变化的精细跟踪，为各种需要历史数据和回滚功能的应用提供了有力支持，从而提升了目录快照的回滚效率。
-
Patent Agency Ranking
公开(公告)号：CN113590546B
公开(公告)日：2024-10-18
申请号：CN202110742686.1
申请日：2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/16 , G06F16/182
Abstract: 本申请涉及的目录删除方法、装置及存储介质。其中方法包括：在系统文件目录下创建第二目录，将待删除目录的数据移动到所述第二目录；在待删除目录的元数据所处的元数据服务器中创建第一目录，将待删除目录的元数据移动到所述第一目录；客户端将全部元数据服务器的第一目录缓存在本地指定位置，根据所述指定位置待删除目录的元数据内容，索引到所述第二目录下的待删除目录的数据，并执行删除操作删除所述待删除目录的数据；待删除目录的数据删除后，所述客户端删除本地指定位置以及元数据服务器第一目录下相应待删除目录的元数据。应用本申请元数据服务器之间不会因删除目录而产生元数据迁移，保证分布式文件系统的整体性能。
-
公开(公告)号：CN115292057A
公开(公告)日：2022-11-04
申请号：CN202210937738.5
申请日：2022-08-05
Applicant: 济南浪潮数据技术有限公司
IPC: G06F9/52
Abstract: 本申请公开了一种文件系统加锁方法、装置、设备及介质，涉及分布式文件系统领域，该方法包括：接收目标IO请求，确定目标IO请求对应在当前文件系统的目标请求资源的类型；若目标请求资源为文件结构类型，则对目标请求资源对应的结构体添加结构锁；若目标请求资源为模块内部资源类型，则对目标请求资源对应的模块添加模块锁；若目标请求资源为全局公共资源类型，则对目标请求资源对应的数据结构添加客户端锁；其中，结构锁、模块锁以及客户端锁均为互斥锁。本发明能够使用模块化拆锁的方式分化客户端锁的约束力，提高文件读写并发性能，降低客户端锁导致的阻塞现象，降低读写耗时，提高文件系统的读写性能，间接提高文件的读写的带宽性能。
-
公开(公告)号：CN113824812A
公开(公告)日：2021-12-21
申请号：CN202110992067.8
申请日：2021-08-27
Applicant: 济南浪潮数据技术有限公司
IPC: H04L29/12 , H04L29/08 , H04L12/24 , G06F16/182
Abstract: 本申请涉及HDFS服务获取服务节点IP的方法、装置及存储介质。其中方法包括：通过名字节点确定读写操作的数据节点后，从HDFS的全部HDFS客户端中选取指定数量的HDFS客户端作为服务节点，服务节点用于提供HDFS服务；按照HDFS客户端的指定数量、HDFS客户端IP的长度构建IPS数组来存放服务节点的IP；对IPS数组中存储的IP进行处理，将IPS数组中的第一个位置存储的IP设置为HDFS服务本地IP；按照IPS数组提供服务节点IP顺序进行故障切换。HDFS服务提供文件系统读写服务过程中，通过本申请，当前HDFS客户端出现故障导致无法继续提供读写服务时，按照IPS数组中服务节点IP顺序进行故障切换，由下一顺位的服务节点IP对应的HDFS客户端提供读写文件系统的服务，提高HDFS服务的稳定性、冗余性。
-
公开(公告)号：CN113688107A
公开(公告)日：2021-11-23
申请号：CN202110872163.9
申请日：2021-07-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/172 , G06F16/182 , G06F3/06 , G06F5/06
Abstract: 本发明公开一种分布式文件系统元数据缓存方法、装置、终端及存储介质，设计三级缓存机制，进行挑选缓存，将将要被使用的元数据放置在一、二级缓存队列，使用率低的元数据放置在三级缓存队列，淘汰时从三级缓存队列的缓存时间最久的元数据进行淘汰，从而保留将要被使用的元数据，保证元数据的命中率，减少内存占用，缩短元数据访问IO路径，降低网络通信压力，磁盘访问IO压力，并设置合理的缓存量阈值，在内存可控的基础上有效实现元数据缓存性能的最优化。
-
公开(公告)号：CN113672584A
公开(公告)日：2021-11-19
申请号：CN202111006690.8
申请日：2021-08-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F3/06
Abstract: 本发明公开了一种分布式文件系统的HDFS协议数据映射传输方法，包括：预先根据块大小确定出与块大小一致的obj大小，建立块与obj的映射关系；接收HDFS客户端发送的读写请求，并根据当前块及块与obj的映射关系，确定出当前obj；根据当前obj的信息计算出与当前obj对应的主磁盘所在的目标节点ip；将目标节点ip返回至HDFS客户端，以便HDFS客户端将对应的数据发送至与目标节点ip对应的HDFS文件服务器，并通过HDFS文件服务器将数据存储至主磁盘上；本发明在使用过程中无需分布式存储客户端对数据进行转发，提高了数据读写效率，减少了网络带宽的消耗，有利于提升系统性能。
-
-
-
-
-
-
-
-
-
Search Results
40
records
(took 0.035 seconds)
