公开(公告)号：CN113672584B

公开(公告)日：2025-03-14

申请号：CN202111006690.8

申请日：2021-08-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 王帅阳 ,  李文鹏 ,  李旭东

IPC: G06F16/182 ,  G06F3/06

Abstract: 本发明公开了一种分布式文件系统的HDFS协议数据映射传输方法，包括：预先根据块大小确定出与块大小一致的obj大小，建立块与obj的映射关系；接收HDFS客户端发送的读写请求，并根据当前块及块与obj的映射关系，确定出当前obj；根据当前obj的信息计算出与当前obj对应的主磁盘所在的目标节点ip；将目标节点ip返回至HDFS客户端，以便HDFS客户端将对应的数据发送至与目标节点ip对应的HDFS文件服务器，并通过HDFS文件服务器将数据存储至主磁盘上；本发明在使用过程中无需分布式存储客户端对数据进行转发，提高了数据读写效率，减少了网络带宽的消耗，有利于提升系统性能。

公开(公告)号：CN119203089A

公开(公告)日：2024-12-27

申请号：CN202411259400.4

申请日：2024-09-09

Applicant: 济南浪潮数据技术有限公司

Inventor： 贾涛 ,  王帅阳 ,  李航

IPC: G06F21/31 ,  G06F21/60 ,  G06F21/64 ,  G06F21/62 ,  G06F16/27

Abstract: 本申请实施例提供了一种数据服务的处理方法及装置、存储介质及电子设备，涉及计算机领域，包括：获取通过第一名称节点向目标客户端颁发的第一身份认证令牌，其中，第一身份认证令牌包括第一密码、第一秘钥ID和第一有效时长；创建目标客户端与第二名称节点之间的安全连接；通过第一身份认证令牌，从与第二名称节点对应的第一持久化存储区域中查找到目标身份认证索引，其中，目标身份认证索引包括第二密码和第二有效时长；比对第一密码与第二密码，并在第一比对结果表示第一密码与第二密码相同的情况下，确定通过第一身份认证令牌的验证，允许访问第二名称节点的元数据服务。

公开(公告)号：CN119127809A

公开(公告)日：2024-12-13

申请号：CN202411345226.5

申请日：2024-09-25

Applicant: 济南浪潮数据技术有限公司

Inventor： 王帅阳 ,  肖国栋

IPC: G06F16/16 ,  G06F16/182

Abstract: 本发明公开一种文件合并方法、装置及介质，涉及文件合并技术领域，用于实现文件合并，针对传统仅能采用原生HDFS方式实现文件合并的问题，提供一种文件合并方法提出了一种新的文件数据索引方式，可以实现合并文件的多池映射。此外，本方法利用分布式文件系统的事务机制实现文件合并。目前针对事务已存在多种出现故障时的数据回滚方案，故当本方法通过事务对文件合并进行落盘时，如果中途出现故障，则可通过事务机制的回滚方法对数据进行回滚，使数据回滚至文件合并之前。综上所述，本方法可以有效地解决非原生HDFS文件合并所面临的两大挑战，从而为文件合并的实现拓展出了一种除原生HDFS之外的解决方案。

公开(公告)号：CN113821460B

公开(公告)日：2024-03-01

申请号：CN202110998403.X

申请日：2021-08-27

Applicant: 济南浪潮数据技术有限公司

Inventor： 张亚东 ,  王帅阳 ,  穆向东

IPC: G06F12/0862

Abstract: 本发明公开了一种文件预读缓存分配方法和装置，方法包括：基于总预读缓存量、并发文件数量、和文件最大缓存量阈值确定现有预读缓存能否满足并发需求；响应于确定现有预读缓存不能满足并发需求而将文件最大缓存量阈值降低到总预读缓存量与并发文件数量之商，并进一步基于最小缓存确定文件最大缓存量阈值能否满足预读需求；响应于确定文件最大缓存量阈值能满足预读需求而为每个文件均提供满足降低过的文件最大缓存量阈值的预读缓存以并发地缓冲读取文件。本发明能够在高并发状态下均衡分配预读缓存，提高缓存效率和预读效果，增大读带宽，进而提高系统性能。

公开(公告)号：CN117331905A

公开(公告)日：2024-01-02

申请号：CN202311297858.4

申请日：2023-10-08

Applicant: 济南浪潮数据技术有限公司

Inventor： 贾涛 ,  王帅阳 ,  霍存可

IPC: G06F16/182 ,  G06F16/172 ,  G06F16/13

Abstract: 本发明涉及分布式文件系统技术领域，公开了一种分布式文件系统的信息处理方法、读写方法及设备。名称节点可以根据客户端的元数据请求，确定出待操作文件的文件类型以及第一块池标识，确定与待操作文件的文件类型对应的目标读写方式，即与待操作文件的文件类型对应的较高效率的读写方式，之后构建包括有目标读写方式的块池信息，并返回给客户端，以使客户端根据块池信息中的目标读写方式和第一块池标识执行读写操作，有效保障与待操作文件的文件类型对应的业务场景的读写效率。本发明对于不同的文件类型即不同的业务场景，均可以确定出相应的读写方式并根据确定出的读写方式来执行读写操作，可以有效保障不同业务场景中的读写效率。

公开(公告)号：CN117311620A

公开(公告)日：2023-12-29

申请号：CN202311257163.3

申请日：2023-09-26

Applicant: 济南浪潮数据技术有限公司

Inventor： 王帅阳

IPC: G06F3/06

Abstract: 本发明涉及计算机技术领域，公开了一种数据处理方法、装置、设备及存储介质，应用于非结构化存储系统，包括：获取待写入文件及初始存储池列表，初始存储池列表内存储有按照存储节点隔离的多个正常存储池；针对任一正常存储池，识别正常存储池的存储池容量，并基于正常存储池的存储池容量确定基准存储池及容量相近差，容量相近差用于表征各个正常存储池的存储池容量处于相同数据容量的相近差。基于基准存储池，对初始存储池列表中处于容量相近差内的正常存储池进行筛选，得到目标存储列表；基于待写入文件的文件信息，从目标存储列表中确定用于存储待写入文件的目标存储池；本发明可以减小单个存储池的内部开销，并降低存储池故障对业务的影响。

公开(公告)号：CN113626299B

公开(公告)日：2023-12-22

申请号：CN202110835163.1

申请日：2021-07-23

Applicant: 济南浪潮数据技术有限公司

Inventor： 张亚东 ,  王帅阳 ,  胡永刚

IPC: G06F11/34 ,  G06F16/16 ,  G06F16/182

Abstract: 本发明公开一种分布式文件系统的并行性能评估方法和装置，其中，该分布式文件系统的并行性能评估方法包括：当侦测到分布式文件系统的文件操作时，获取每种文件操作类型对应的IO并行数量信息；根据文件操作类型对应的唯一标识，统计每种文件操作类型对应的IO运行时间信息；根据IO并行数量信息和IO运行时间信息，评估分布式文件系统的并行性能。本发明的技术方案能解决现有技术中分布式文件系统的并行性能检测误差较大的问题。

公开(公告)号：CN117077176A

公开(公告)日：2023-11-17

申请号：CN202311117396.3

申请日：2023-08-31

Applicant: 济南浪潮数据技术有限公司

Inventor： 王帅阳 ,  霍存可 ,  李旭东

IPC: G06F21/60 ,  G06F21/62

Abstract: 本发明属于分布式存储领域，具体涉及一种分布式存储鉴权方法、系统、设备及介质。其中方法包括：响应于收到业务操作请求，判断是否对业务操作请求采用联合鉴权机制；响应于判断为是，先通过第一鉴权组件对业务操作请求进行鉴权，并在第一鉴权组件的鉴权结果为通过后，将鉴权结果添加到处理所述业务操作请求的业务处理线程的描述信息中；响应于线程的描述信息发生变更，调用第二鉴权组件对业务操作请求进行鉴权，并在所述第二鉴权组件鉴权通过后通过所述业务处理线程执行所述业务操作请求。通过本发明提出的一种分布式存储鉴权方法，无需改变原生的鉴权机制，可有效解决在采用两种鉴权方式的情况下的鉴权结果冲突问题。

公开(公告)号：CN116938589A

公开(公告)日：2023-10-24

申请号：CN202311090690.X

申请日：2023-08-28

Applicant: 济南浪潮数据技术有限公司

Inventor： 陶钰昕 ,  王帅阳 ,  李航

IPC: H04L9/40 ,  H04L67/1097 ,  H04L67/141

Abstract: 本发明提供了一种Hadoop分布式文件系统的服务访问白名单的方法及装置，该方法通过链接注册器、白名单过滤器、链接检查器、链接拒绝器和链接创建器的协同作用，实现了对HDFS客户端访问的精细控制。在连接请求过程中，从客户端解析IP地址作为标识，白名单过滤器与服务端配置的IP白名单进行匹配，链接检查器根据预设规则判断是否允许连接。如果通过验证，链接创建器建立连接，允许客户端访问。这一方法及装置提高了系统安全性、精细管理、性能优化等，为HDFS系统带来多重益处。

公开(公告)号：CN116382565A

公开(公告)日：2023-07-04

申请号：CN202310073533.1

申请日：2023-01-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 霍存可 ,  王帅阳 ,  和思扬 ,  贾涛

IPC: G06F3/06

Abstract: 本发明公开了一种HDFS数据落盘方法、装置、HDFS服务器及计算机可读存储介质，涉及数据处理技术领域，该方法包括：HDFS服务器获取客户端设备发送的待存储数据；判断待存储数据是否属于目标文件块；其中，目标文件块为HBase WAL日志的文件块；若是，则将待存储数据加入到下刷队列和应答队列；若否，则将待存储数据加入到下刷队列，并在目标文件块下刷完成后，将待存储数据加入到应答队列；本发明通过判断待存储数据是否属于目标文件块，实现对HBase WAL日志的识别，使WAL日志的数据能够在下刷落盘时返回应答信息，实现基于HBase WAL机制的直接应答顺序下刷的数据落盘，提高了HBase数据存入的速度。