-
公开(公告)号：CN118227563A
公开(公告)日：2024-06-21
申请号：CN202410340575.1
申请日：2024-03-22
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/14 , G06F16/13 , G06F16/182
Abstract: 本发明实施例提供了一种索引文件的处理方法、装置、电子设备及存储介质，方法包括：响应于扫描指令，确定待扫描的日期范围；将所述扫描指令与所述策略索引表中的多条扫描策略进行匹配，确定与所述扫描指令对应的目标扫描策略；确定与所述目标扫描策略对应的日期信息，并根据所述日期范围从所述日期信息中确定目标日期信息；获取所述目标日期信息对应的当前索引文件，并对所述当前索引文件进行扫描。这样，在对所有的索引文件进行扫描时，通过策略索引表缩小扫描范围，再通过日期索引表需求量一步缩小扫描范围，从而从所有的索引文件中精准地确定出需要进行扫描的索引文件，提高了扫描效率，降低了扫描成本。
-
公开(公告)号：CN117951529A
公开(公告)日：2024-04-30
申请号：CN202410347260.X
申请日：2024-03-26
Applicant: 济南浪潮数据技术有限公司
IPC: G06F18/214 , G06F18/213 , G06F18/241 , G06N3/08 , G06N3/0442 , G06F11/30 , G06F11/34
Abstract: 本公开涉及机器学习领域，具体涉及用于硬盘数据故障预测的样本获取方法、装置、设备，方法包括：获取硬盘数据的训练样本以及训练样本对应的样本标签；根据训练样本，构建出生成虚拟样本的第一故障模型；根据样本标签，构建出生成虚拟样本对应的虚拟标签的第二故障模型；根据训练样本、样本标签、第一故障模型以及第二故障模型，确定所述虚拟样本和所述虚拟标签；根据虚拟样本和虚拟标签，得到用于硬盘数据故障预测的目标训练样本和目标训练样本对应的目标样本标签。本公开利用机器学习和混合学习相结合的方式，能够处理好硬盘故障领域中常见的数据不平衡问题，从而提升后续模型对少数类样本的关注程度，从而提升模型的整体预测识别能力。
-
公开(公告)号：CN113703675B
公开(公告)日：2023-12-22
申请号：CN202110874481.9
申请日：2021-07-30
Applicant: 济南浪潮数据技术有限公司
Inventor： 李旭东
IPC: G06F3/06
Abstract: 本发明提供一种在客户端实现分级存储的方法及装置，所述方法包括如下步骤：S1.在客户端节点设置客户端读写模块和数据管理模块，并配置客户端读写模块和数据管理模块功能；S2.设置数据管理模块采用分布式架构，并获取数据管理模块对接的目标存储系统，建立数据管理块与目标存储系统的接口；S3.客户端读写模块接收用户读写请求，并向一级存储进行读写操作，数据管理模块实现冷数据从一级存储到二级存储的下刷，以及热数据从二级存储到一级存储的提取。本发明提供的在客户端实现分级存储的方法及装置，实现分级存储的基础上，可兼容客户端原有一二级存储架构，并能兼容对中一二级存储系统型号，还可兼容各类私有云及公有云。
-
公开(公告)号：CN117077176A
公开(公告)日：2023-11-17
申请号：CN202311117396.3
申请日：2023-08-31
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明属于分布式存储领域，具体涉及一种分布式存储鉴权方法、系统、设备及介质。其中方法包括：响应于收到业务操作请求，判断是否对业务操作请求采用联合鉴权机制；响应于判断为是，先通过第一鉴权组件对业务操作请求进行鉴权，并在第一鉴权组件的鉴权结果为通过后，将鉴权结果添加到处理所述业务操作请求的业务处理线程的描述信息中；响应于线程的描述信息发生变更，调用第二鉴权组件对业务操作请求进行鉴权，并在所述第二鉴权组件鉴权通过后通过所述业务处理线程执行所述业务操作请求。通过本发明提出的一种分布式存储鉴权方法，无需改变原生的鉴权机制，可有效解决在采用两种鉴权方式的情况下的鉴权结果冲突问题。
-
公开(公告)号：CN116886754A
公开(公告)日：2023-10-13
申请号：CN202311086430.5
申请日：2023-08-28
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/145 , H04L67/1097 , H04L67/61
Abstract: 本发明提出了一种分布式文件存储系统会话控制的保活方法、设备及介质，其中，方法包括：为会话控制配置默认优先级和次高优先级，其中，默认优先级低于次高优先级；配置会话控制以默认优先级或次高优先级向元数据服务节点发送心跳信息和其它请求信息；由元数据服务节点接收会话控制发送的心跳信息以及其它请求信息存入消息队列，并根据心跳信息以及请求信息的优先等级选择性的进行处理。本发明通过为session分配默认优先级以及次高优先级，并以默认优先级或次高优先级向MDS发送session请求和session心跳，从而避免二者任一长时间占用MDS的大锁从而造成对方的处理不及时。
-
Patent Agency Ranking
公开(公告)号：CN114003372A
公开(公告)日：2022-02-01
申请号：CN202111158109.4
申请日：2021-09-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F9/50 , G06F16/172 , G06F16/182
Abstract: 本发明提供了一种分布式文件系统HDFS服务容量配额实现的方法、系统、设备及可读介质，该方法包括：响应于HDFS服务接收到addblock请求，申请block大小的配额并构建hdfsquota缓存结构和缓存记录；响应于HDFS服务接收到文件的写请求，基于文件的属性更新缓存记录；响应于文件写完成，判断缓存记录中预设属性大小是否大于文件大小；响应于缓存记录中预设属性大小大于文件大小，将申请配额中未使用的容量归还服务器。通过使用本发明的方案，能够实现HDFS协议过程的容量配额功能，能够及时归还未使用的配额，避免容量浪费，能够通过定时自检归还配额，增加功能可用性。
-
公开(公告)号：CN113626382A
公开(公告)日：2021-11-09
申请号：CN202110741785.8
申请日：2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/182
Abstract: 本申请提供一种分布式文件系统中聚合对象的索引方法，包括：接收小文件写入请求并将对应的小文件写入obj缓存；在小文件数据写入量满足聚合缓存的预设容量时，组建数据缓存队列；数据缓存队列包括数据队列和obj缓存的索引队列；将数据队列中的数据写入普通池，并将索引队列中索引数据写入高速池；根据索引队列中的索引数据更新文件聚合元数据。本申请针对聚合对象ino图表进行优化，将filemap表设计到高速池中，以减小对普通磁盘的性能影响。同时针对索引文件对象，按照聚合大件的生命周期进行管理，避免产生垃圾对象的残留。本申请还提供一种分布式文件系统中聚合对象的索引系统、计算机可读存储介质和电子设备，具有上述有益效果。
-
公开(公告)号：CN113609094A
公开(公告)日：2021-11-05
申请号：CN202110779540.4
申请日：2021-07-09
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/172
Abstract: 本发明公开了一种控制数据下刷的方法、系统、设备和存储介质，方法包括：响应于接收到写请求，依次对数据包进行写操作，并判断当前数据包的写操作是否为缓存写；响应于所述当前数据包的写操作为缓存写，将所述数据包的数据写入数据缓存层，并判断数据的大小是否达到分布式对象的大小；响应于所述数据的大小达到分布式对象的大小，对所述数据进行持久化，并判断当前待确认批量结构的数量是否超过阈值；以及响应于当前待确认批量结构的数量超过阈值，对持久化后的数据进行范围检测，并根据所述范围检测的结果进行下刷。本发明通过分批、异步下刷和整体应答的机制，同时在数据缓存层采用整条带下刷机制，两层协作保障数据快速持久化与安全应答。
-
公开(公告)号：CN113626381B
公开(公告)日：2023-12-22
申请号：CN202110738495.8
申请日：2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/13 , G06F16/182
Abstract: 本发明提供一种基于分布式文件系统交织读预读的优化方法、装置，所述方法包括如下步骤：步骤1：接收读请求；步骤2：根据接收到的读请求判断是否是随机读，若是，执行步骤3，否则，执行步骤4；步骤3：根据整对象及对象中的数据块的预读标记进行预读信息恢复；步骤4：发起预读；步骤5：读结束。交织读的识别方法，设计数据块与对象的预读标记，实现预读信息的快速恢复，同时设计完整的交织读预读逻辑，模块嵌入性能较好，完美实现交织读模式下的识别与预读。增加交织读模式下的读性能。提升产品多业务模式性能稳定性，增加友好的用户体验。模块嵌入性好，便于开发与维护。
-
公开(公告)号：CN117149720A
公开(公告)日：2023-12-01
申请号：CN202311108680.4
申请日：2023-08-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/172 , G06F16/182 , G06F16/27
Abstract: 本发明提供了一种基于分布式大数据存储配额预申请量控制的方法及装置，涉及大数据存储领域，针对传统预分配机制在多用户、高并发场景下可能导致配额误差的问题。本发明通过维护配额分配列表、动态调整配额预申请量，根据剩余量设定多阈值，实现高精度的配额控制。装置包括配额服务器和客户机，自动恢复配额缓存。有益效果包括高精度的配额管理、资源利用率提升、适应多样场景、故障恢复稳定、减少人工干预、节约资源成本、提升系统性能和易实施性。该方法及装置适用于多用户、多目录、高并发的大数据存储环境，提高了资源分配的准确性和系统的性能稳定性。
-
-
-
-
-
-
-
-
-
Search Results
40
records
(took 0.042 seconds)
