-
公开(公告)号：CN114020503A
公开(公告)日：2022-02-08
申请号：CN202111215931.X
申请日：2021-10-19
Applicant: 济南浪潮数据技术有限公司
IPC: G06F11/07 , G06F11/14 , G06F16/17 , G06F16/172 , G06F16/182
Abstract: 本发明提出的一种分布式文件系统透明故障切换的优化方法、系统及装置，所述方法包括：启动HDFS客户端服务节点的集群数据库和服务监控自启功能；HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统；当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换；在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听；当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。本发明能够使分布式文件系统在使用HDFS协议读写入过程中实现服务的故障切换和服务节点的备份。
-
公开(公告)号：CN113806308A
公开(公告)日：2021-12-17
申请号：CN202111061984.0
申请日：2021-09-10
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/16 , G06F16/182
Abstract: 本发明提供了一种HDFS的垃圾文件清理的方法、装置、设备及可读介质，该方法包括：每经过预设时间检测HDFS文件系统中是否存在预设后缀名的文件；响应于检测到HDFS文件系统中是否存在预设后缀名的文件，计算每个文件未被访问的持续时间，并将每个文件的持续时间分别与第一阈值时间进行比较；响应于文件的持续时间超过第一阈值时间，将超过第一阈值时间的文件进行标记并放入回收站中；响应于放入回收站中的带有标记的文件超过第二阈值时间，将带有标记的文件进行彻底删除。通过使用本发明的方案，能够减少维护特定垃圾文件的性能开销，有利于提升集群的存储空间利用率和集群的整体性能。
-
公开(公告)号：CN113553311A
公开(公告)日：2021-10-26
申请号：CN202110654032.3
申请日：2021-06-11
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/17 , G06F16/16
Abstract: 本申请公开了一种基于分布式文件系统的数据传递方法，所述方法包括：首先在源数据端和目标数据端分别构建数据结构；然后在源数据端封装源数据端和目标数据端可以共同访问的数据类型；接下来基于内存映射传递方法，将封装的数据类型传递到目标数据端，进行目标数据端的数据读写。本申请方法实现思路简单方便，通过采用映射传递技术实现了JNA数据传递的零拷贝，有效减少了数据传递过程中的内存及CPU消耗，特别是对于高负载场景，可有效减少近一半的内存及CPU消耗，避免了数据传递过程中资源的严重浪费。本申请还公开了一种基于分布式文件系统的数据传递系统、设备及存储介质，具有以上有益效果。
-
公开(公告)号：CN113590546B
公开(公告)日：2024-10-18
申请号：CN202110742686.1
申请日：2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/16 , G06F16/182
Abstract: 本申请涉及的目录删除方法、装置及存储介质。其中方法包括：在系统文件目录下创建第二目录，将待删除目录的数据移动到所述第二目录；在待删除目录的元数据所处的元数据服务器中创建第一目录，将待删除目录的元数据移动到所述第一目录；客户端将全部元数据服务器的第一目录缓存在本地指定位置，根据所述指定位置待删除目录的元数据内容，索引到所述第二目录下的待删除目录的数据，并执行删除操作删除所述待删除目录的数据；待删除目录的数据删除后，所述客户端删除本地指定位置以及元数据服务器第一目录下相应待删除目录的元数据。应用本申请元数据服务器之间不会因删除目录而产生元数据迁移，保证分布式文件系统的整体性能。
-
公开(公告)号：CN118519589A
公开(公告)日：2024-08-20
申请号：CN202410993685.8
申请日：2024-07-24
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明公开了一种数据处理方法、分布式存储系统、产品、设备及介质，涉及分布式存储技术领域。该方法在分布式存储节点上通过使用控制器内存缓冲区，使得网卡可以直接将数据传输到存储器上，实现了卸载主机内存，避免了使用主存储器作为数据传输的中转站而需要进行两次直接存储访问的操作，减少了占用的主存储器的大部分带宽，提高了对存储业务的处理速度，提升了分布式存储系统的性能；且在使用控制器内存缓冲区进行内存卸载后，节省了分布式存储节点的内存容量使用，降低了分布式存储节点的硬件成本；且在将业务数据放置在控制器内存缓冲区的基础上，当检测到目标地址属于控制器内存缓冲区地址，则对业务数据进行保存，实现了业务数据的持久化。
-
Patent Agency Ranking
公开(公告)号：CN116051678A
公开(公告)日：2023-05-02
申请号：CN202310076338.4
申请日：2023-01-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06T11/20
Abstract: 本申请公开了一种分布式存储的测试数据曲线绘制方法、装置及介质，涉及分布式存储领域，解决需要手动导入数据绘制曲线的问题，接收到绘制指令后，获取测试数据包；根据所述测试数据包的数据类型获取对应的绘制模板；根据所述绘制模板解析所述测试数据包，得到绘制数据，根据所述绘制数据进行曲线绘制，得到测试数据曲线。通过在曲线绘制前选择已存在的绘制模板，可以快速使用现有方式进行曲线绘制，缩短性能分析时间，提高效率；便于使用者根据测试数据的不同构建不同的绘图模型，以实现不同的数据处理方式与图形绘制方法，在不修改代码的前提下满足不同测试数据曲线的绘制。
-
公开(公告)号：CN115454806A
公开(公告)日：2022-12-09
申请号：CN202211293517.5
申请日：2022-10-21
Applicant: 济南浪潮数据技术有限公司
IPC: G06F11/34
Abstract: 本申请公开了一种分布式存储引擎的性能测试方法、装置、设备及介质，涉及计算机技术领域，包括：初始化全局公共信息，并基于预设配置参数信息在本地节点创建存储引擎、若干数量的工作线程及若干数量的测试对象；将若干数量的测试对象均匀分发至若干数量的工作线程，并启动工作线程，然后通过执行工作线程完成存储引擎的读写操作；收集每一工作线程在完成读写操作后统计的存储引擎的性能信息，并当任一工作线程满足预设的测试结束条件时，结束工作线程的执行过程。可见，本申请在非集群模式下单独测试存储引擎的性能，抛弃OSD层的逻辑处理过程，降低上层应用对存储引擎性能测试时的影响，性能测试准确性和可控性大大提高。
-
公开(公告)号：CN115438062A
公开(公告)日：2022-12-06
申请号：CN202211293449.2
申请日：2022-10-21
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种数据写入更新方法、系统、装置及计算机可读存储介质，涉及分布式存储系统领域，BlueStore接收到对应写入请求时，确定在存储模块中覆盖数据的待写入物理地址及已写入数据的已写入物理地址，基于已写入物理地址确定删除标识，将删除标识及覆盖数据发送至存储模块，以便存储模块基于删除标识控制已写入物理地址对应的工作状态标记为可删除状态并将覆盖数据写入待写入物理地址，在一次数据写入过程中既实现了覆盖数据的写入，又实现了已写入物理地址的工作状态标记，避免了写放大问题，提升了BlueStore的工作性能；后续该已写入物理地址将不会作为有效数据参与到对应处理逻辑，延长了存储模块的使用寿命。
-
公开(公告)号：CN115344217A
公开(公告)日：2022-11-15
申请号：CN202211060409.3
申请日：2022-08-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据存储方法、装置、设备及可读存储介质，方法应用于bitmap分配器，包括：对位图层中一未被占用且未被加锁的children加锁；判断加锁的children对应的磁盘空间中是否存在待存储数据对应的连续可用空间；若是，将待存储数据存储到连续可用空间中；若否，释放锁，对其他任一未被占用且未被加锁的children进行加锁，直至对位图层中最后一未被占用且未被加锁的children进行加锁和相应处理为止。本申请公开的上述技术方案，通过对未被占用且未被加锁的children进行加锁实现数据并发存储，提高数据存储效率，并优先将数据存储到磁盘的连续可用空间中，增强数据存储的连续性。
-
公开(公告)号：CN115129263A
公开(公告)日：2022-09-30
申请号：CN202210967924.3
申请日：2022-08-12
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据存储方法、装置、设备及介质，涉及计算机技术领域，包括：获取待存储数据，并从所有的所述待存储数据中筛选出目标待存储数据；确定出与所述目标待存储数据相对应的目标数据切分方法，并按照所述目标数据切分方法对所述目标待存储数据进行切分，以得到目标待存储子数据；基于所述目标待存储子数据和预先获取的存储磁盘的剩余存储空间信息生成虚拟磁盘空间，基于所述虚拟磁盘空间将所述目标待存储子数据存储至所述存储磁盘。通过本申请的上述技术方案，能够实现大文件场景下提升读写性能、使数据连续性以及减少元数据量。
-
-
-
-
-
-
-
-
-
Search Results
44
records
(took 0.028 seconds)
