-
公开(公告)号：CN119211247A
公开(公告)日：2024-12-27
申请号：CN202411387972.0
申请日：2024-09-30
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/104 , H04L67/1097 , H04L67/06 , H04L67/145 , H04L67/5683 , H04L67/5682 , H04L41/069
Abstract: 本申请公开了一种分布式系统中的数据统计方法、装置、设备及存储介质，分布式系统包括一个主节点和多个从节点，方法应用于任一从节点，包括：接收主节点发送的目标子任务，目标子任务由主节点对应用任务进行子任务划分得到；执行目标子任务，获取其在执行过程中产生的执行日志；对本地日志文件加锁；若加锁成功，则将加锁时间之前的临时日志和执行日志保存至本地日志文件；若加锁失败，则将执行日志作为临时日志生成临时日志文件；根据主节点下发的日志拉取请求将本地日志文件上传至主节点，以使其对各从节点的本地日志文件进行合并处理，获得应用任务的日志文件。本方案可以在分布式系统中实现任意应用软件的性能数据统计，具有较高的应用价值。
-
公开(公告)号：CN113590546B
公开(公告)日：2024-10-18
申请号：CN202110742686.1
申请日：2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/16 , G06F16/182
Abstract: 本申请涉及的目录删除方法、装置及存储介质。其中方法包括：在系统文件目录下创建第二目录，将待删除目录的数据移动到所述第二目录；在待删除目录的元数据所处的元数据服务器中创建第一目录，将待删除目录的元数据移动到所述第一目录；客户端将全部元数据服务器的第一目录缓存在本地指定位置，根据所述指定位置待删除目录的元数据内容，索引到所述第二目录下的待删除目录的数据，并执行删除操作删除所述待删除目录的数据；待删除目录的数据删除后，所述客户端删除本地指定位置以及元数据服务器第一目录下相应待删除目录的元数据。应用本申请元数据服务器之间不会因删除目录而产生元数据迁移，保证分布式文件系统的整体性能。
-
公开(公告)号：CN113609092B
公开(公告)日：2024-02-27
申请号：CN202110743141.2
申请日：2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/17
Abstract: 本发明提供一种分布式存储对接HDFS客户端的方法、系统、终端及存储介质，包括：设置HDFS服务端的getFi l e Info接口对接分布式存储的文件元数据获取函数；设置HDFS服务端的getL i s t i ng接口对接分布式存储的目录读取函数；设置HDFS客户端对接getFi l eInfo接口和getL i s t ing接口，HDFS客户端通过getFi l eInfo接口和getLi st ing接口获取分布式存储的文件元数据和目录信息。本发明实现了在hdfs中客户端使用l s接口时，显示分布式文件存储系统中的文件信息和目录信息的功能，实现了两种文件系统的对接，提高了文件系统之间数据交互速率。
-
公开(公告)号：CN116455602A
公开(公告)日：2023-07-18
申请号：CN202310231236.5
申请日：2023-03-08
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明属于计算机领域，具体涉及一种共享验证方法、系统、设备及可读存储介质。其中，方法包括：在各个节点将通用的自增数据的预定值作为初始标识数据，并基于所述初始标识数据周期性的生成标识码；基于所述标识码生成校验秘钥，并将所述校验秘钥作为客户端请求中的访问秘钥对客户端的请求进行验证。通过本发明提出的一种共享验证方法，通过通用的具有自增特性的数据作为标识数据为参考生成对应的标识码，然后以标识码生成对应的校验秘钥，可以保证任何节点无需数据通信也能产生同样的校验秘钥，有效提高集群的安全性和可靠性。
-
公开(公告)号：CN116431608A
公开(公告)日：2023-07-14
申请号：CN202310416383.X
申请日：2023-04-13
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请公开了一种数据迁移方法、装置、设备及存储介质，涉及数据迁移技术领域，包括：获取待迁移HBase集群中待迁移的数据表，得到待迁移数据表列表；根据所述待迁移数据表列表创建新快照，并将所述新快照迁移至目标HBase集群中；对位于所述目标HBase集群的所述新快照中的所述待迁移数据表列表对应的数据内容进行恢复，得到恢复后的数据表；对所述恢复后的数据表进行数据校验，若校验通过则表明所述待迁移数据表列表迁移成功。本申请可以利用HBase集群自身的功能对集群进行迁移，减少集群业务中断时间，在迁移时能够保证数据的可用性，同时节约了成本，保证了数据的安全。
-
Patent Agency Ranking
公开(公告)号：CN114968939A
公开(公告)日：2022-08-30
申请号：CN202210611117.8
申请日：2022-05-31
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/16 , G06F16/172 , G06F16/182
Abstract: 本申请公开了一种文件合并方法、装置及计算可读存储介质，涉及分布式系统领域。通过接收客户端生成并发送的文件合并请求；其中，文件合并请求包含预设的目标文件的参数和源文件的参数，目标文件为大文件，源文件为小文件；解析文件合并请求中的目标文件的参数和源文件的参数；根据目标文件的参数和源文件的参数判断是否满足预设条件；若是，将源文件追加至目标文件中，以进行文件合并。由此可知，上述方案通过解析客户端发送的文件合并请求，对请求中的目标文件和源文件的参数进行判断，当满足预设条件时将源文件追加至目标文件中，实现了文件合并，提高了文件的读写性能。
-
公开(公告)号：CN113824812A
公开(公告)日：2021-12-21
申请号：CN202110992067.8
申请日：2021-08-27
Applicant: 济南浪潮数据技术有限公司
IPC: H04L29/12 , H04L29/08 , H04L12/24 , G06F16/182
Abstract: 本申请涉及HDFS服务获取服务节点IP的方法、装置及存储介质。其中方法包括：通过名字节点确定读写操作的数据节点后，从HDFS的全部HDFS客户端中选取指定数量的HDFS客户端作为服务节点，服务节点用于提供HDFS服务；按照HDFS客户端的指定数量、HDFS客户端IP的长度构建IPS数组来存放服务节点的IP；对IPS数组中存储的IP进行处理，将IPS数组中的第一个位置存储的IP设置为HDFS服务本地IP；按照IPS数组提供服务节点IP顺序进行故障切换。HDFS服务提供文件系统读写服务过程中，通过本申请，当前HDFS客户端出现故障导致无法继续提供读写服务时，按照IPS数组中服务节点IP顺序进行故障切换，由下一顺位的服务节点IP对应的HDFS客户端提供读写文件系统的服务，提高HDFS服务的稳定性、冗余性。
-
公开(公告)号：CN113688107A
公开(公告)日：2021-11-23
申请号：CN202110872163.9
申请日：2021-07-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/172 , G06F16/182 , G06F3/06 , G06F5/06
Abstract: 本发明公开一种分布式文件系统元数据缓存方法、装置、终端及存储介质，设计三级缓存机制，进行挑选缓存，将将要被使用的元数据放置在一、二级缓存队列，使用率低的元数据放置在三级缓存队列，淘汰时从三级缓存队列的缓存时间最久的元数据进行淘汰，从而保留将要被使用的元数据，保证元数据的命中率，减少内存占用，缩短元数据访问IO路径，降低网络通信压力，磁盘访问IO压力，并设置合理的缓存量阈值，在内存可控的基础上有效实现元数据缓存性能的最优化。
-
公开(公告)号：CN113672584A
公开(公告)日：2021-11-19
申请号：CN202111006690.8
申请日：2021-08-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F3/06
Abstract: 本发明公开了一种分布式文件系统的HDFS协议数据映射传输方法，包括：预先根据块大小确定出与块大小一致的obj大小，建立块与obj的映射关系；接收HDFS客户端发送的读写请求，并根据当前块及块与obj的映射关系，确定出当前obj；根据当前obj的信息计算出与当前obj对应的主磁盘所在的目标节点ip；将目标节点ip返回至HDFS客户端，以便HDFS客户端将对应的数据发送至与目标节点ip对应的HDFS文件服务器，并通过HDFS文件服务器将数据存储至主磁盘上；本发明在使用过程中无需分布式存储客户端对数据进行转发，提高了数据读写效率，减少了网络带宽的消耗，有利于提升系统性能。
-
公开(公告)号：CN113609094B
公开(公告)日：2025-02-14
申请号：CN202110779540.4
申请日：2021-07-09
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/172
Abstract: 本发明公开了一种控制数据下刷的方法、系统、设备和存储介质，方法包括：响应于接收到写请求，依次对数据包进行写操作，并判断当前数据包的写操作是否为缓存写；响应于所述当前数据包的写操作为缓存写，将所述数据包的数据写入数据缓存层，并判断数据的大小是否达到分布式对象的大小；响应于所述数据的大小达到分布式对象的大小，对所述数据进行持久化，并判断当前待确认批量结构的数量是否超过阈值；以及响应于当前待确认批量结构的数量超过阈值，对持久化后的数据进行范围检测，并根据所述范围检测的结果进行下刷。本发明通过分批、异步下刷和整体应答的机制，同时在数据缓存层采用整条带下刷机制，两层协作保障数据快速持久化与安全应答。
-
-
-
-
-
-
-
-
-
Search Results
63
records
(took 0.029 seconds)
