-
公开(公告)号:CN119203089A
公开(公告)日:2024-12-27
申请号:CN202411259400.4
申请日:2024-09-09
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请实施例提供了一种数据服务的处理方法及装置、存储介质及电子设备,涉及计算机领域,包括:获取通过第一名称节点向目标客户端颁发的第一身份认证令牌,其中,第一身份认证令牌包括第一密码、第一秘钥ID和第一有效时长;创建目标客户端与第二名称节点之间的安全连接;通过第一身份认证令牌,从与第二名称节点对应的第一持久化存储区域中查找到目标身份认证索引,其中,目标身份认证索引包括第二密码和第二有效时长;比对第一密码与第二密码,并在第一比对结果表示第一密码与第二密码相同的情况下,确定通过第一身份认证令牌的验证,允许访问第二名称节点的元数据服务。
-
公开(公告)号:CN117331905A
公开(公告)日:2024-01-02
申请号:CN202311297858.4
申请日:2023-10-08
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/172 , G06F16/13
Abstract: 本发明涉及分布式文件系统技术领域,公开了一种分布式文件系统的信息处理方法、读写方法及设备。名称节点可以根据客户端的元数据请求,确定出待操作文件的文件类型以及第一块池标识,确定与待操作文件的文件类型对应的目标读写方式,即与待操作文件的文件类型对应的较高效率的读写方式,之后构建包括有目标读写方式的块池信息,并返回给客户端,以使客户端根据块池信息中的目标读写方式和第一块池标识执行读写操作,有效保障与待操作文件的文件类型对应的业务场景的读写效率。本发明对于不同的文件类型即不同的业务场景,均可以确定出相应的读写方式并根据确定出的读写方式来执行读写操作,可以有效保障不同业务场景中的读写效率。
-
公开(公告)号:CN116382565A
公开(公告)日:2023-07-04
申请号:CN202310073533.1
申请日:2023-01-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明公开了一种HDFS数据落盘方法、装置、HDFS服务器及计算机可读存储介质,涉及数据处理技术领域,该方法包括:HDFS服务器获取客户端设备发送的待存储数据;判断待存储数据是否属于目标文件块;其中,目标文件块为HBase WAL日志的文件块;若是,则将待存储数据加入到下刷队列和应答队列;若否,则将待存储数据加入到下刷队列,并在目标文件块下刷完成后,将待存储数据加入到应答队列;本发明通过判断待存储数据是否属于目标文件块,实现对HBase WAL日志的识别,使WAL日志的数据能够在下刷落盘时返回应答信息,实现基于HBase WAL机制的直接应答顺序下刷的数据落盘,提高了HBase数据存入的速度。
-
公开(公告)号:CN116346498A
公开(公告)日:2023-06-27
申请号:CN202310501138.9
申请日:2023-04-28
Applicant: 济南浪潮数据技术有限公司
IPC: H04L9/40
Abstract: 本发明提供一种安全认证方法、装置、网络访问服务设备及存储介质,涉及大数据存储系统领域,方法应用于网络访问服务设备,包括:当接收到客户端发送的访问请求信息时,根据访问请求信息确定客户端请求访问的目标租户资源,并确定目标租户资源对应的目标安全认证处理器;利用目标安全认证处理器对客户端进行安全认证处理;在确定客户端通过安全认证时,允许客户端访问目标租户资源;网络访问服务设备在接收到客户端发送的访问请求信息时,可依照客户端请求访问的目标租户资源利用对应的目标安全认证处理器对客户端进行安全认证处理,从而可确保租户资源能够配置不同的安全认证处理器,进而可满足用户不同的安全认证需求。
-
公开(公告)号:CN115391038A
公开(公告)日:2022-11-25
申请号:CN202211025813.7
申请日:2022-08-25
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种资源分配方法、计算机可读存储介质、系统及装置,涉及管理领域。服务端接收客户端发送的资源调用请求;根据资源调用请求获取存储节点的标识信息;判断标识信息是否存在于预先存储的映射关系中;若是,根据标识信息及映射关系确定用户业务;将用户业务的路径发送至客户端以使客户端应用用户业务而使用用户资源。本申请通过预先存储的映射关系确定根据客户端发送的资源调用请求获取的存储节点的标识信息是否存在于预先存储的映射关系中,如果存在,说明本次发送的资源调用请求具有权限,且有权限的用户不能访问到其他用户的数据,可以访问为每一个用户划分的自己特有的用户资源,提高了存储系统的安全性与可靠性。
-
公开(公告)号:CN115002072A
公开(公告)日:2022-09-02
申请号:CN202210612273.6
申请日:2022-05-31
Applicant: 济南浪潮数据技术有限公司
IPC: H04L61/3015 , H04L61/4511 , H04L61/103
Abstract: 本发明公开了一种基于JMX的获取数据方法、装置及介质,适用于虚拟机监控技术领域。通过获取当前请求域名查询得到公用命名空间,若该域名为已注册的域名,则通过轮询命名空间集合,也就是在多个命名空间内获取目标命名空间,若未查询到或者若该域名不为已注册的域名,则将公用命名空间作为目标命名空间。将现有的一个命名空间划分为多个命名空间,由现有的一个域名访问一个命名空间模式变为当前请求域名访问多个命名空间模式实现“多对多”的获取方式,降低对命名空间访问时获取数据的耦合性,同时提高访问数据的速度,多对多的模式更具有灵活性,进一步提高用户的体验感。
-
公开(公告)号:CN113806308A
公开(公告)日:2021-12-17
申请号:CN202111061984.0
申请日:2021-09-10
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/16 , G06F16/182
Abstract: 本发明提供了一种HDFS的垃圾文件清理的方法、装置、设备及可读介质,该方法包括:每经过预设时间检测HDFS文件系统中是否存在预设后缀名的文件;响应于检测到HDFS文件系统中是否存在预设后缀名的文件,计算每个文件未被访问的持续时间,并将每个文件的持续时间分别与第一阈值时间进行比较;响应于文件的持续时间超过第一阈值时间,将超过第一阈值时间的文件进行标记并放入回收站中;响应于放入回收站中的带有标记的文件超过第二阈值时间,将带有标记的文件进行彻底删除。通过使用本发明的方案,能够减少维护特定垃圾文件的性能开销,有利于提升集群的存储空间利用率和集群的整体性能。
-
公开(公告)号:CN113626403A
公开(公告)日:2021-11-09
申请号:CN202110745159.6
申请日:2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/17
Abstract: 本申请公开了一种分布式文件系统的处理方法、装置及介质,方法包括:将分布式文件系统的集群中各个节点的网卡信息配置到HDFS的配置文件中,每个所述节点对应一个配置文件;将所述各个节点的IP信息均设置到HDFS的节点列表;获取所述集群的ID,利用所述ID格式化HDFS的存储空间;根据所述配置文件和所述节点列表启动HDFS服务。本申请实施例提供的方案通过以上自动化部署之后,可以利用配置文件和节点列表一键式实现HDFS服务的启动,实现分布式文件系统HDFS服务的交互,不必逐一节点分别进行设置,该方法简单快捷。
-
公开(公告)号:CN113609092A
公开(公告)日:2021-11-05
申请号:CN202110743141.2
申请日:2021-06-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/17
Abstract: 本发明提供一种分布式存储对接HDFS客户端的方法、系统、终端及存储介质,包括:设置HDFS服务端的getFi l e Info接口对接分布式存储的文件元数据获取函数;设置HDFS服务端的getL i s t i ng接口对接分布式存储的目录读取函数;设置HDFS客户端对接getFi l eInfo接口和getL i s t ing接口,HDFS客户端通过getFi l eInfo接口和getLi st ing接口获取分布式存储的文件元数据和目录信息。本发明实现了在hdfs中客户端使用l s接口时,显示分布式文件存储系统中的文件信息和目录信息的功能,实现了两种文件系统的对接,提高了文件系统之间数据交互速率。
-
公开(公告)号:CN119211247A
公开(公告)日:2024-12-27
申请号:CN202411387972.0
申请日:2024-09-30
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/104 , H04L67/1097 , H04L67/06 , H04L67/145 , H04L67/5683 , H04L67/5682 , H04L41/069
Abstract: 本申请公开了一种分布式系统中的数据统计方法、装置、设备及存储介质,分布式系统包括一个主节点和多个从节点,方法应用于任一从节点,包括:接收主节点发送的目标子任务,目标子任务由主节点对应用任务进行子任务划分得到;执行目标子任务,获取其在执行过程中产生的执行日志;对本地日志文件加锁;若加锁成功,则将加锁时间之前的临时日志和执行日志保存至本地日志文件;若加锁失败,则将执行日志作为临时日志生成临时日志文件;根据主节点下发的日志拉取请求将本地日志文件上传至主节点,以使其对各从节点的本地日志文件进行合并处理,获得应用任务的日志文件。本方案可以在分布式系统中实现任意应用软件的性能数据统计,具有较高的应用价值。
-
-
-
-
-
-
-
-
-