分布式文件系统的处理方法、装置及介质

    公开(公告)号:CN113626403A

    公开(公告)日:2021-11-09

    申请号:CN202110745159.6

    申请日:2021-06-30

    Abstract: 本申请公开了一种分布式文件系统的处理方法、装置及介质,方法包括:将分布式文件系统的集群中各个节点的网卡信息配置到HDFS的配置文件中,每个所述节点对应一个配置文件;将所述各个节点的IP信息均设置到HDFS的节点列表;获取所述集群的ID,利用所述ID格式化HDFS的存储空间;根据所述配置文件和所述节点列表启动HDFS服务。本申请实施例提供的方案通过以上自动化部署之后,可以利用配置文件和节点列表一键式实现HDFS服务的启动,实现分布式文件系统HDFS服务的交互,不必逐一节点分别进行设置,该方法简单快捷。

    分布式存储对接HDFS客户端的方法、系统、终端及存储介质

    公开(公告)号:CN113609092A

    公开(公告)日:2021-11-05

    申请号:CN202110743141.2

    申请日:2021-06-30

    Abstract: 本发明提供一种分布式存储对接HDFS客户端的方法、系统、终端及存储介质,包括:设置HDFS服务端的getFi l e Info接口对接分布式存储的文件元数据获取函数;设置HDFS服务端的getL i s t i ng接口对接分布式存储的目录读取函数;设置HDFS客户端对接getFi l eInfo接口和getL i s t ing接口,HDFS客户端通过getFi l eInfo接口和getLi st ing接口获取分布式存储的文件元数据和目录信息。本发明实现了在hdfs中客户端使用l s接口时,显示分布式文件存储系统中的文件信息和目录信息的功能,实现了两种文件系统的对接,提高了文件系统之间数据交互速率。

    基于分布式文件系统的数据传递方法、系统及设备

    公开(公告)号:CN113553311A

    公开(公告)日:2021-10-26

    申请号:CN202110654032.3

    申请日:2021-06-11

    Abstract: 本申请公开了一种基于分布式文件系统的数据传递方法,所述方法包括:首先在源数据端和目标数据端分别构建数据结构;然后在源数据端封装源数据端和目标数据端可以共同访问的数据类型;接下来基于内存映射传递方法,将封装的数据类型传递到目标数据端,进行目标数据端的数据读写。本申请方法实现思路简单方便,通过采用映射传递技术实现了JNA数据传递的零拷贝,有效减少了数据传递过程中的内存及CPU消耗,特别是对于高负载场景,可有效减少近一半的内存及CPU消耗,避免了数据传递过程中资源的严重浪费。本申请还公开了一种基于分布式文件系统的数据传递系统、设备及存储介质,具有以上有益效果。

    分布式文件系统的回收站清理方法、装置、设备和介质

    公开(公告)号:CN119248732A

    公开(公告)日:2025-01-03

    申请号:CN202411170684.X

    申请日:2024-08-23

    Abstract: 本发明实施例提供了一种分布式文件系统的回收站清理方法、装置、设备和介质,该方法包括服务器向客户端发送扫描任务;扫描任务用于指示客户端扫描服务器的回收站数据目录中对应的目标数据目录,确定目标数据目录中的待删除数据;接收客户端发送的待删除数据的目录,将待删除数据的目录放入待删除数据队列;根据待删除数据队列生成删除任务,向客户端发送删除任务;删除任务用于指示客户端删除指定的待删除数据的目录对应的数据。本发明实施例可以显著减少了在进行回收站清理工作时,网络中传输的数据量,从而节省了带宽资源并降低了网络拥塞的风险。

    代码的加密方法和装置、存储介质及程序产品

    公开(公告)号:CN119150325A

    公开(公告)日:2024-12-17

    申请号:CN202411375185.4

    申请日:2024-09-29

    Abstract: 本申请实施例提供了一种代码的加密方法和装置、存储介质及程序产品,涉及计算机领域,其中,该代码的加密方法包括:对待加密的代码进行打包,得到第一代码包;基于加密函数,编译生成加密包;在获取到第一代码包对应的待加密字符流的情况下,调用加密包,以通过加密函数,对待加密字符流进行加密,生成加密后的第二代码包;采用上述方案,解决了相关技术中代码的加密效果较差的问题。

    一种基于分布式文件系统交织读预读的优化方法、装置

    公开(公告)号:CN113626381B

    公开(公告)日:2023-12-22

    申请号:CN202110738495.8

    申请日:2021-06-30

    Abstract: 本发明提供一种基于分布式文件系统交织读预读的优化方法、装置,所述方法包括如下步骤:步骤1:接收读请求;步骤2:根据接收到的读请求判断是否是随机读,若是,执行步骤3,否则,执行步骤4;步骤3:根据整对象及对象中的数据块的预读标记进行预读信息恢复;步骤4:发起预读;步骤5:读结束。交织读的识别方法,设计数据块与对象的预读标记,实现预读信息的快速恢复,同时设计完整的交织读预读逻辑,模块嵌入性能较好,完美实现交织读模式下的识别与预读。增加交织读模式下的读性能。提升产品多业务模式性能稳定性,增加友好的用户体验。模块嵌入性好,便于开发与维护。

    对数据执行链路监控的方法、系统、装置、设备及介质

    公开(公告)号:CN117215873A

    公开(公告)日:2023-12-12

    申请号:CN202311206549.1

    申请日:2023-09-18

    Abstract: 本发明涉及大数据业务技术领域,公开了一种对数据执行链路监控的方法、系统、装置、设备及介质,该方法包括:获取数据访问请求执行过程中每个步骤的执行信息;根据执行信息中的上下游关系信息,得到数据访问请求执行过程的目标执行链路;根据执行信息,得到每个步骤的执行频次、数据访问请求执行过程的总执行耗时和异常步骤;将执行频次、总执行耗时以及异常步骤进行汇总,得到目标执行链路的告警关联信息。本发明解决了日志存在信息记录杂乱,排查日志的时间成本高,影响了监控数据执行链路的时效性的问题。

    基于分布式大数据存储配额预申请量控制的方法及装置

    公开(公告)号:CN117149720A

    公开(公告)日:2023-12-01

    申请号:CN202311108680.4

    申请日:2023-08-30

    Abstract: 本发明提供了一种基于分布式大数据存储配额预申请量控制的方法及装置,涉及大数据存储领域,针对传统预分配机制在多用户、高并发场景下可能导致配额误差的问题。本发明通过维护配额分配列表、动态调整配额预申请量,根据剩余量设定多阈值,实现高精度的配额控制。装置包括配额服务器和客户机,自动恢复配额缓存。有益效果包括高精度的配额管理、资源利用率提升、适应多样场景、故障恢复稳定、减少人工干预、节约资源成本、提升系统性能和易实施性。该方法及装置适用于多用户、多目录、高并发的大数据存储环境,提高了资源分配的准确性和系统的性能稳定性。

    基于命名空间的审计日志存储方法、装置、设备及介质

    公开(公告)号:CN117112524A

    公开(公告)日:2023-11-24

    申请号:CN202311153235.X

    申请日:2023-09-07

    Abstract: 本发明涉及审计日志技术领域,公开了基于命名空间的审计日志存储方法、装置、设备及介质,基于命名空间的审计日志存储方法包括:创建命名空间;获取操作列表中需要审计的第一操作;将第一操作存储于命名空间中;获取目标操作,读取目标操作对应的命名空间;判断目标操作是否为第一操作;若目标操作是第一操作,则对目标操作进行审计日志存储。本发明选择性的对审计日志进行存储,降低审计日志占用的存储空间。

    分布式文件系统不停服务的扩容方法、计算机及存储介质

    公开(公告)号:CN116974988A

    公开(公告)日:2023-10-31

    申请号:CN202310954027.3

    申请日:2023-07-31

    Abstract: 本发明提出了一种分布式文件系统不停服务的扩容方法、计算机及存储介质,其中,方法包括:预先在本地的服务器端口的对象类中定义RBF对象服务,并将RBF对象服务初始赋值为NULL;预先在本地的服务器端口的对象类中添加对象切换功能,对象切换功能用于控制启用本地对象服务或者启用RBF对象服务;响应于启用RBF对象服务,由对象切换功能从本地分布式文件系统中获取预设的RBF对象服务代码并替换NULL,并将本地对象服务的接口添加为RBF对象服务的子服务。本发明通过在本地服务的对象类中定义RBF服务,使得RBF服务作为本地对象类中的子服务对象,并在该对象类中预设对象切换功能,从而能够在不改变IP和端口号的的情况下,切换到RBF服务以达到扩容的目的。

Patent Agency Ranking