-
公开(公告)号:CN113468126A
公开(公告)日:2021-10-01
申请号:CN202110705105.7
申请日:2021-06-24
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种元数据日志记录方法,该方法包括以下步骤:接收元数据操作请求;将元数据操作请求分别转发至预置的各元数据服务器;分别利用各元数据服务器对元数据操作请求进行解析,得到元数据操作变化信息;利用各元数据服务器各自预存的日志文件对元数据操作变化信息分别进行记录操作。应用本发明所提供的元数据日志记录方法,做到了对元数据日志的冗余记录,较大地提升了对元数据日志记录的成功率。本发明还公开了一种元数据日志记录装置、设备及存储介质,具有相应技术效果。
-
公开(公告)号:CN120010792A
公开(公告)日:2025-05-16
申请号:CN202510491043.2
申请日:2025-04-18
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请公开了一种数据写入方法和系统、存储介质、电子设备及计算机程序产品,涉及存储系统领域,包括:通过存储客户端中的第一处理单元对第一数据流进行编码计算,并将编码计算后的第一数据流存储至第一处理单元中的缓存单元中;进而根据第一数据流待写入的第一固态硬盘的第一地址和第一数据流所在的缓存单元的第二地址的第一标识符即可使包含第一固态硬盘的第一存储节点将编码计算后的第一数据流写入至第一固态硬盘中。也就是说,本申请实施例通过存储客户端而非CPU进行数据流处理中的编码计算任务,从而解决了相关技术中通过CPU运行软件执行数据流处理中的编码运算任务,CPU在处理编码运算时,还需要处理其他业务,导致的内存资源的抢占问题。
-
公开(公告)号:CN119003127A
公开(公告)日:2024-11-22
申请号:CN202411203477.X
申请日:2024-08-29
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种任务调度方法、装置、设备及计算机可读存储介质,应用于智能调度技术领域,包括:确定非一致性存储访问节点对应的前端处理核心和后端处理核心;确定后端任务和前端任务对应的处理线程;确定每个处理线程关联的前端处理核心或后端处理核心,当处理线程中的任务需要执行时,利用关联的前端处理核心或后端处理核心对处理线程上的任务进行处理;利用负载均衡策略确定空闲的后端处理核心,利用空闲的后端处理核心执行剩余的任务。本发明利用静态调度处理非阻塞前端任务,利用负载均衡策略动态调度空闲的后端处理核心执行后端任务,保证整体系统的高效推进,且一个处理线程关联一个处理核心,减少进程切换次数,提高了任务调度的效率。
-
公开(公告)号:CN117573043B
公开(公告)日:2024-06-28
申请号:CN202410065117.1
申请日:2024-01-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F3/06
Abstract: 本发明涉及数据存储技术领域,公开了分布式存储数据的传输方法、装置、系统、设备和介质,将读写存储缓冲区的内存地址预先注册到网卡;读写存储缓冲区具有电容保电特性。依据控制消息获取源端设备的源端内存地址;根据源端内存地址从源端设备拉取数据至自身设备的网卡。依据注册到网卡的内存地址以及数据的数据量所匹配的存储方式,将数据存储至对应的读写存储缓冲区;基于用户态驱动控制将读写存储缓冲区的数据下刷至非易失性存储介质。由于网卡中注册了读写存储缓冲区的内存地址,因此网卡可以直接将数据存储至读写存储缓冲区,整个实现过程减少了中央处理器和主机内存的参与,减少了主机内存拷贝带来的时延,提升了数据传输效率。
-
公开(公告)号:CN118227579A
公开(公告)日:2024-06-21
申请号:CN202410390143.1
申请日:2024-03-31
Applicant: 济南浪潮数据技术有限公司
Abstract: 本发明公开了一种跨域集群数据的处理方法、装置、设备及介质,涉及分布式存储技术领域。该跨域集群数据的处理方法中,首先获取集群所分布的所有地域对应的第一目标日志项,保证第一目标日志项是集群中各地域均存在至少一半的节点达成一致后确定出的日志项;然后,从所有第一目标日志项中获取第二目标日志项,由于第二目标日志项是最早发送至从节点的日志项,故而,保证了所有地域中的从节点中均接收到了该日志项。当以第二目标日志项响应客户端发送的请求时,集群中各从节点中均存在该日志项,即客户端请求操作的数据不会丢失,保证了数据一致性,保证了用户业务的正常运行。
-
公开(公告)号:CN113672993B
公开(公告)日:2023-12-22
申请号:CN202110989428.3
申请日:2021-08-26
Applicant: 济南浪潮数据技术有限公司
Abstract: 本申请公开了一种数据处理方法、系统、设备及计算机可读存储介质,应用于数据管理平台,获取第二客户端的数据请求,数据请求中包括数据标签;基于数据标签确定数据签名方,并向数据签名方发送签名请求;接收数据签名方的签名结果并传输至区块链的数据中心进行上链;基于签名结果判断是否允许获取数据,若是,则基于数据获取请求从数据中心获取加密数据;传输加密数据至第一客户端进行解密,得到原始数据;其中,预设数量个数据中心构建成区块链,且数据中心用于接收第一客户端传输的加密数据并上链,生成与加密数据对应的数据标签并公布。本申请便于数据的安全共享,可以解决数据孤岛问题。
-
公开(公告)号:CN116226072A
公开(公告)日:2023-06-06
申请号:CN202310276605.2
申请日:2023-03-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/22
Abstract: 本发明提出了一种多文件路径展示方法、系统、设备和存储介质,该方法包括以下步骤:将多个分布式存储系统文件的索引号作为客户端调试命令的执行参数,通过所述客户端调试命令解析出所有的索引号;将解析出的所有索引号写入内存后,挂载索引号对应的分布式存储系统;挂载完成后遍历内存中索引号,从内存中索引号的元数据缓存内获取文件信息,通过返回文件对象的目录项,逐级拼接文件全路径。基于该方法,还提出了一种多文件路径展示系统、设备和存储介质。本发明提出了分布式存储系统基于文件Inode的全路径展示方法,提供一次性处理多个文件Inode功能,同时克服处理流程中挂载耗时的瓶颈,实现一次挂载,多次处理,批量展示。
-
公开(公告)号:CN116069728A
公开(公告)日:2023-05-05
申请号:CN202310142377.X
申请日:2023-02-17
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/13 , G06F16/178 , G06F16/182
Abstract: 本发明提供一种校验目录一致性的方法、系统、设备和存储介质,方法包括:响应于文件系统远程复制完成,提取包括文件创建时间、访问时间、修改时间和状态改变时间在内的元数据信息;根据校验对象确定需要校验的元数据信息,并比对主从端对应的所述需要校验的元数据信息是否一致;响应于主从端对应的所述需要校验的元数据信息一致,根据比对模式比对主从端对应的文件内容是否一致;以及根据上述步骤按照层级结构从上到下依次轮询目录和文件直到出现不一致或所有目录和文件均比对完成。本发明通过对主从端使用轮询比对的方式提取比对文件和目录的元数据信息进行一致性校验,从而确保数据的一致性。
-
公开(公告)号:CN113472847B
公开(公告)日:2023-04-07
申请号:CN202110593137.2
申请日:2021-05-28
Applicant: 济南浪潮数据技术有限公司
IPC: H04L67/141 , H04L61/103 , H04L61/4511 , H04L9/40
Abstract: 本发明公开了一种过滤无效用户的方法、系统、设备和存储介质,方法包括:响应于服务端接收到客户端的会话连接请求,从所述会话连接请求中解析出所述客户端的用户名和域名;判断所述用户名是否满足无效条件,响应于所述用户名不满足无效条件,判断所述服务端是否加入域;响应于所述服务端加入域,判断所述服务端的域名与所述客户端的域名是否一致;以及响应于所述服务端的域名与所述客户端的域名不一致,禁止所述客户端针对当前会话发起目录连接。本发明针对是否加入域以及是否开启多通道等不同场景采用统一的过滤方法,将无效用户在会话建立阶段前进行拒绝,从而保证现有的Samba子进程不受无效用户的干扰,可以达到减少进程内存占用的目的。
-
公开(公告)号:CN115344550A
公开(公告)日:2022-11-15
申请号:CN202211057520.7
申请日:2022-08-30
Applicant: 济南浪潮数据技术有限公司
IPC: G06F16/182 , G06F16/16
Abstract: 本申请公开了一种分布式文件系统目录克隆方法、装置及介质,涉及分布式存储文件系统领域,为了提高文件目录的复制效率,接收客户端发送的目录克隆请求,根据源目录通过打快照方式创建目标目录,通过两阶段提交方式获取目标目录的识别号,建立源目录与目标目录之间的链接,向客户端发送目录克隆成功的应答消息。本申请根据源目录通过打快照方式创建目标目录,通过两阶段提交方式,保证创建快照的事务一致性,保护源目录内文件与目的目录的一致性,并建立源目录与目标目录之间的连接,实现分布式文件系统的目录克隆,能够快速完成大量目录的复制,提高分布式文件系统的目录复制效率,避免了逐个目录复制导致的效率低的问题。
-
-
-
-
-
-
-
-
-