-
公开(公告)号:CN110874336B
公开(公告)日:2021-09-24
申请号:CN201911001077.X
申请日:2019-10-21
Applicant: 无锡江南计算技术研究所 , 苏州元核云技术有限公司
Abstract: 本发明公开了一种基于申威平台的分布式块存储低延迟控制方法及系统,其中方法包括以下步骤:通过UIO技术进行数据包提升,具体是,将NVMe固态硬盘设备的数据包提升至用户态,在用户态上读取NVMe固态硬盘设备的数据包,并将数据包映射至用户态的进程空间;调用轮询模式驱动以轮询方式处理数据包的发送和接收,NVMe固态硬盘设备与轮询模式驱动一一对应;用户态存储并发送数据包至申威平台存储核心进行解析与处理。通过将NVMe固态硬盘设备的数据驱动提升至用户态,再通过轮询模式对数据包发送和接收进行轮询,实现了减少申威处理器额外损耗和消耗,来提升系统的申威平台的IO效率。
-
公开(公告)号:CN112363676A
公开(公告)日:2021-02-12
申请号:CN202011294948.4
申请日:2020-11-18
Applicant: 无锡江南计算技术研究所 , 苏州元核云技术有限公司
IPC: G06F3/06
Abstract: 本发明公开了一种基于低访问延迟分布式存储系统的控制方法及系统,包括:客户端获取所述客户端所在集群内多个服务进程的连接数据库,所述连接数据库包括所述服务进程和进程参数的匹配信息;所述客户端根据所述连接数据库确定所述客户端和所述服务进程的所述进程参数;所述客户端根据所述进程参数建立所述客户端与所述进程参数对应所述服务进程的通信。本发明通过客户端根据连接数据库获取服务进程的服务参数,则客户端根据服务参数直接连通服务进程对应的硬盘,则客户端无需通过服务端,即可直接发送数据至服务进程对应的硬盘,降低IO延迟。
-
公开(公告)号:CN110874336A
公开(公告)日:2020-03-10
申请号:CN201911001077.X
申请日:2019-10-21
Applicant: 无锡江南计算技术研究所 , 苏州元核云技术有限公司
Abstract: 本发明公开了一种基于申威平台的分布式块存储低延迟控制方法及系统,其中方法包括以下步骤:通过UIO技术进行数据包提升,具体是,将NVMe固态硬盘设备的数据包提升至用户态,在用户态上读取NVMe固态硬盘设备的数据包,并将数据包映射至用户态的进程空间;调用轮询模式驱动以轮询方式处理数据包的发送和接收,NVMe固态硬盘设备与轮询模式驱动一一对应;用户态存储并发送数据包至申威平台存储核心进行解析与处理。通过将NVMe固态硬盘设备的数据驱动提升至用户态,再通过轮询模式对数据包发送和接收进行轮询,实现了减少申威处理器额外损耗和消耗,来提升系统的申威平台的IO效率。
-
公开(公告)号:CN112328549A
公开(公告)日:2021-02-05
申请号:CN202011176254.0
申请日:2020-10-29
Applicant: 无锡先进技术研究院 , 苏州元核云技术有限公司
IPC: G06F16/14 , G06F16/16 , G06F16/182
Abstract: 本发明公开了一种小文件的存储方法、电子设备及存储介质。其中,小文件的存储方法包括数据回收流程,所述数据回收流程包括:接收来自客户端的删除指令;根据所述删除指令删除第一目标文件,对所述第一目标文件的数据空间执行删除操作,以释放合并目标文件的存储空间;其中,所述第一目标文件写入时被合并到所述合并目标文件中。本发明能够将海量小文件对象数据合并为大文件进行存储,当对象数据删除后,能够有效地释放这部分数据空间,不会产生数据空洞,从而实现空间的回收利用,给用户提供空间经济性,提升存储系统的性能。
-
公开(公告)号:CN112395132B
公开(公告)日:2024-06-11
申请号:CN202011265920.8
申请日:2020-11-13
Applicant: 苏州元核云技术有限公司
IPC: G06F11/14
Abstract: 本发明公开了一种文件备份的方法、装置及计算机存储介质,涉及文件处理领域。方法应用于文件备份终端包括:接收文件备份源端发送的封装了备份文件的数据包;将数据包根据文件传输协议进行解析,得到至少一个备份文件;获取每一备份文件的文件信息,将文件信息与预设的备份策略进行匹配;根据匹配数据,将备份文件存储至备份策略中设定的存储位置;发送备份文件的备份状态。应用于文件备份源端的方法包括:获取至少一个需要备份的备份文件;根据备份文件的大小,将一个或者多个备份文件进行封装后,得到若干备份数据;将每一备份数据经文件传输协议处理后发送;根据备份文件的备份状态进行进度处理;从而提升对备份文件的管理的便利性。
-
公开(公告)号:CN110837482B
公开(公告)日:2023-10-27
申请号:CN201911001096.2
申请日:2019-10-21
Applicant: 苏州元核云技术有限公司
Inventor: 王刚
IPC: G06F13/16
Abstract: 本发明公开了分布式块存储低延迟控制方法、系统及设备,方法包括:获取用户设备驱动程序的应用编程接口,应用编程接口与用户设备之间发送和接收数据包,并形成数据描述符环且包括发送数据描述符环和接收数据描述符环;轮询逻辑核心通过应用编程接口轮询一个或多个用户设备端口的接收数据描述符环并通过接收数据描述符环发送数据包至处理逻辑核心;处理逻辑核心根据策略规则接收数据包并进行处理;通过应用编程接口将处理后的数据包在用户设备端口的发送数据描述符环上进行传输。通过采用轮询模式代替中断模式的技术手段,克服现有技术中存在由于中断导致IO延迟严重的技术问题,避免了中断带来的延时和开销,提高端口处理效率且降低端口的延迟。
-
公开(公告)号:CN110083515B
公开(公告)日:2023-06-20
申请号:CN201910332558.2
申请日:2019-04-24
Applicant: 苏州元核云技术有限公司
Inventor: 王刚
Abstract: 本发明公开了一种分布式存储系统中慢盘的快速判断方法、装置及存储介质,涉及分布式存储技术领域。方法包括以下步骤:设置磁盘的性能参数阈值;定时获取系统中每个磁盘当前的性能参数;根据所述性能参数阈值与每个磁盘当前的性能参数,判断所述磁盘是否为慢盘。装置包括设置模块、获取模块和判断模块。本发明通过设置磁盘的性能参数阈值,定时获取系统中每个磁盘当前的性能参数,将性能参数阈值与每个磁盘当前的性能参数进行对比,根据对比结果判断磁盘是否为慢盘,从而提供了一种分布式存储系统中慢盘的快速判断方法,能够快速判断系统中是否存在慢盘,减少系统堵塞。
-
公开(公告)号:CN112363675A
公开(公告)日:2021-02-12
申请号:CN202011292184.5
申请日:2020-11-18
Applicant: 苏州元核云技术有限公司
IPC: G06F3/06
Abstract: 本发明公开了基于分布式存储系统的控制方法及系统,基于分布式存储系统的控制方法包括:服务进程接收数据写入请求,并记录所述数据写入请求的数据写入时间和数据写入次数;所述服务进程根据所述数据写入时间或所述数据写入次数满足预设写入规则,将所述数据写入请求对应的数据写入所述服务进程的日志文件。本发明通过服务进程根据数据写入时间或数据写入次数满足预设写入规则,才将数据写入请求的数据写入到服务进程的日志文件,无需每次接收到数据写入请求都直接将数据写入到日志文件,以降低延迟,还可以提高整体的吞吐能力。
-
公开(公告)号:CN110351119A
公开(公告)日:2019-10-18
申请号:CN201910491956.9
申请日:2019-06-06
Applicant: 苏州元核云技术有限公司
Inventor: 王刚
Abstract: 本发明公开了一种分布式文件存储系统及文件存储方法,涉及存储技术领域。其中,系统包括多个负载节点,运行负载程序,均衡负载客户端请求并分发到各个网关节点;多个网关节点,运行文件存储服务,响应所述负载节点分发的客户端请求,为客户端提供文件系统挂载服务。本发明通过负载节点均衡负载客户端请求并分发到各个网关节点,网关节点响应负载节点分发的客户端请求,为客户端提供文件系统挂载服务。克服了现有技术中单网关故障导致文件存储服务停止甚至丢失数据,以及多网关无法均衡负载客户端请求等技术问题,从而提供了一种具有高可用性的分布式文件存储系统。
-
公开(公告)号:CN110120974A
公开(公告)日:2019-08-13
申请号:CN201910360015.1
申请日:2019-04-30
Applicant: 苏州元核云技术有限公司
Inventor: 王刚
IPC: H04L29/08
Abstract: 本发明公开了一种多数据中心对象存储、下载、存储/下载方法及相关装置,涉及存储技术领域。存储方法包括:数据中心安全等级配置步骤:配置各个数据中心的安全等级,形成各个数据中心ID与其安全等级映射表;存储对象接收步骤:接收存储对象;存储策略选择步骤:根据映射表选择存储对象的存储策略。本发明通过采用数据中心去中心化多活的工作方式,实现了数据在多个数据中心之间流通共享,可以做到数据中心之间的冗余灾备,使存储系统更加可靠;基于数据中心的安全等级,智能选择存储策略,提高了数据的安全性,若一个数据中心出现问题,可以从其他数据中心下载,避免数据丢失。
-
-
-
-
-
-
-
-
-