超时时间设置方法、装置、设备及存储介质

    公开(公告)号:CN118474049A

    公开(公告)日:2024-08-09

    申请号:CN202410445400.7

    申请日:2024-04-12

    Abstract: 本发明实施例提供了一种超时时间设置方法、装置、设备及存储介质,包括:获取目标统计周期内广播心跳信号的成功率;在确定心跳信号的成功率大于第一预设值的情况下,获取初始心跳超时时间,初始数据传输超时时间以及数据传输信息的成功率;按照初始心跳超时时间确定目标心跳超时时间和目标选举超时时间;在确定数据传输信息的成功率与预设期望值的差值大于第二预设值时,将初始数据传输超时时间按照指数级增长/下降;在确定数据传输信息的成功率与预设期望值的差值小于第二预设值时,将上一周期设置的历史数据传输超时时间和初始数据传输超时时间的均值作为目标数据传输超时时间,本发明实施例提升了Raft集群的可用性。

    文件访问方法、装置、计算机设备及程序产品

    公开(公告)号:CN118069589A

    公开(公告)日:2024-05-24

    申请号:CN202410459427.1

    申请日:2024-04-17

    Abstract: 本发明涉及计算机技术领域,公开了一种文件访问方法、装置、计算机设备及程序产品。其中,方法包括:获取文件访问请求,根据文件访问请求中待访问的第一文件在文件存储系统中的第一路径信息及画像数据池,确定第一文件是否满足文件预取条件;若满足文件预取条件,则确定第一文件在文件存储系统中对应的预取文件;将预取文件从文件存储系统拷贝至本地缓存中;根据第一路径信息和本地缓存中的文件,进行文件访问处理;其中,画像数据池包括文件存储系统中第一文件类型的各文件集的画像数据。本发明降低了文件存储系统的访问压力,提升了文件访问效率。

    支持富元数据管理的文件系统及其实现富元数据服务的方法

    公开(公告)号:CN118708549A

    公开(公告)日:2024-09-27

    申请号:CN202410804851.5

    申请日:2024-06-21

    Abstract: 本发明公开了一种支持富元数据管理的文件系统,涉及电子数字数据处理领域,本发明的文件系统包括注册模块、命名空间查询模块、第一数据管理模块以及第二数据管理模块,其可作为FUSE框架的文件守护进程,借助FUSE框架为用户提供传统文件访问和新增的富元数据管理服务。富元数据管理服务一方面能够提供除POSIX语义以外的元数据的插入、读取、删除和展示操作;另一方面通过自动的包装器打包和挂载操作,将具有相同元数据属性值或内容相近元数据属性值的文件打包成包装器,以虚拟目录方式挂载在文件系统根目录下;随后,用户可通过访问虚拟目录,快速从海量文件中筛选感兴趣的数据。

    一种多协议数据共享架构

    公开(公告)号:CN110781152A

    公开(公告)日:2020-02-11

    申请号:CN201910954198.X

    申请日:2019-10-09

    Abstract: 本申请公开了一种多协议数据共享架构,包括文件存储应用、对象存储应用、文件存储元数据池、对象存储元数据池及文件存储数据池;其中:文件存储数据池用于以文件协议的方式存储共享数据;文件存储元数据池用于以文件协议的方式存储共享数据对应的元数据;对象存储元数据池用于以对象协议的方式存储共享数据对应的元数据;文件存储应用用于采用文件协议访问文件存储元数据池及文件存储数据池;对象存储应用用于采用对象协议访问对象存储元数据池,以及用于利用自身接口转换得到的文件协议访问接口访问文件存储数据池。本申请仅需进行接口转换即可实现对象协议及文件协议的数据共享,有效避免了因数据格式转换存在的效率问题及存储空间占用问题。

    一种数据处理方法、装置、设备及可读存储介质

    公开(公告)号:CN114827178B

    公开(公告)日:2024-11-05

    申请号:CN202210468189.1

    申请日:2022-04-29

    Abstract: 本申请公开了计算机技术领域内的一种数据处理方法、装置、设备及可读存储介质。本申请实现了控制流和数据流的分离,只需转发传输访问控制流,而数据流无需在各节点间转发,而是从客户端直接到达相应节点。并且,由于存储被访问数据的各节点可以共享客户端的内存地址,因此可实现客户端与节点间的数据直取,那么各节点可以直通客户端内存来得到数据流,从而快速完成被访问数据的读写,提升了数据访问效率和性能。相应地,本申请提供的一种数据处理装置、设备及可读存储介质,也同样具有上述技术效果。

    文件访问方法、装置、计算机设备及程序产品

    公开(公告)号:CN118069589B

    公开(公告)日:2024-08-27

    申请号:CN202410459427.1

    申请日:2024-04-17

    Abstract: 本发明涉及计算机技术领域,公开了一种文件访问方法、装置、计算机设备及程序产品。其中,方法包括:获取文件访问请求,根据文件访问请求中待访问的第一文件在文件存储系统中的第一路径信息及画像数据池,确定第一文件是否满足文件预取条件;若满足文件预取条件,则确定第一文件在文件存储系统中对应的预取文件;将预取文件从文件存储系统拷贝至本地缓存中;根据第一路径信息和本地缓存中的文件,进行文件访问处理;其中,画像数据池包括文件存储系统中第一文件类型的各文件集的画像数据。本发明降低了文件存储系统的访问压力,提升了文件访问效率。

    一种数据处理方法、装置、设备及可读存储介质

    公开(公告)号:CN114827178A

    公开(公告)日:2022-07-29

    申请号:CN202210468189.1

    申请日:2022-04-29

    Abstract: 本申请公开了计算机技术领域内的一种数据处理方法、装置、设备及可读存储介质。本申请实现了控制流和数据流的分离,只需转发传输访问控制流,而数据流无需在各节点间转发,而是从客户端直接到达相应节点。并且,由于存储被访问数据的各节点可以共享客户端的内存地址,因此可实现客户端与节点间的数据直取,那么各节点可以直通客户端内存来得到数据流,从而快速完成被访问数据的读写,提升了数据访问效率和性能。相应地,本申请提供的一种数据处理装置、设备及可读存储介质,也同样具有上述技术效果。

    一种任务调度方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN119003127A

    公开(公告)日:2024-11-22

    申请号:CN202411203477.X

    申请日:2024-08-29

    Abstract: 本发明公开了一种任务调度方法、装置、设备及计算机可读存储介质,应用于智能调度技术领域,包括:确定非一致性存储访问节点对应的前端处理核心和后端处理核心;确定后端任务和前端任务对应的处理线程;确定每个处理线程关联的前端处理核心或后端处理核心,当处理线程中的任务需要执行时,利用关联的前端处理核心或后端处理核心对处理线程上的任务进行处理;利用负载均衡策略确定空闲的后端处理核心,利用空闲的后端处理核心执行剩余的任务。本发明利用静态调度处理非阻塞前端任务,利用负载均衡策略动态调度空闲的后端处理核心执行后端任务,保证整体系统的高效推进,且一个处理线程关联一个处理核心,减少进程切换次数,提高了任务调度的效率。

    一种跨域集群数据的处理方法、装置、设备及介质

    公开(公告)号:CN118227579A

    公开(公告)日:2024-06-21

    申请号:CN202410390143.1

    申请日:2024-03-31

    Abstract: 本发明公开了一种跨域集群数据的处理方法、装置、设备及介质,涉及分布式存储技术领域。该跨域集群数据的处理方法中,首先获取集群所分布的所有地域对应的第一目标日志项,保证第一目标日志项是集群中各地域均存在至少一半的节点达成一致后确定出的日志项;然后,从所有第一目标日志项中获取第二目标日志项,由于第二目标日志项是最早发送至从节点的日志项,故而,保证了所有地域中的从节点中均接收到了该日志项。当以第二目标日志项响应客户端发送的请求时,集群中各从节点中均存在该日志项,即客户端请求操作的数据不会丢失,保证了数据一致性,保证了用户业务的正常运行。

    一种面向高密度存储服务器的快速磁盘修复方法和系统

    公开(公告)号:CN115237665A

    公开(公告)日:2022-10-25

    申请号:CN202210893252.6

    申请日:2022-07-27

    Abstract: 本发明公开一种面向高密度存储服务器的快速磁盘修复方法和系统,属于计算机存储领域。包括:根据故障磁盘确定需要修复的所有条带;从正常磁盘中读取需要修复条带的所有幸存块;计算各幸存块从磁盘被读入内存所需要的时间;构建所有可能的[a,b]组合;根据各幸存块从磁盘被读入内存所需要的时间,计算各个[a,b]组合下磁盘修复时间T;采用磁盘修复时间最小对应的[a,b]组合,进行故障磁盘的修复;a表示条带内并行度,b表示条带间并行度,且a*b=内存中可容纳数据块的数量。本发明根据当前的服务器内所有磁盘的传输速度状况,选择合理的条带内并行度和条带间并行度,使得磁盘修复时间得以最小化,从而尽可能快地修复出丢失数据,提升修复性能与系统的可靠性。

Patent Agency Ranking