基于低访问延迟分布式存储系统的控制方法及系统

    公开(公告)号:CN112363676A

    公开(公告)日:2021-02-12

    申请号:CN202011294948.4

    申请日:2020-11-18

    Abstract: 本发明公开了一种基于低访问延迟分布式存储系统的控制方法及系统,包括:客户端获取所述客户端所在集群内多个服务进程的连接数据库,所述连接数据库包括所述服务进程和进程参数的匹配信息;所述客户端根据所述连接数据库确定所述客户端和所述服务进程的所述进程参数;所述客户端根据所述进程参数建立所述客户端与所述进程参数对应所述服务进程的通信。本发明通过客户端根据连接数据库获取服务进程的服务参数,则客户端根据服务参数直接连通服务进程对应的硬盘,则客户端无需通过服务端,即可直接发送数据至服务进程对应的硬盘,降低IO延迟。

    数据分布预测方法、数据均衡方法、设备及存储介质

    公开(公告)号:CN112328171A

    公开(公告)日:2021-02-05

    申请号:CN202011146994.X

    申请日:2020-10-23

    Inventor: 王刚 田锴 祝国亮

    Abstract: 本发明公开了一种数据分布预测方法、数据均衡方法、设备及存储介质,其中方法包括:读取集群数据中当前存储盘的自然分布状态;根据当前存储盘的所述自然分布状态,得到集群数据的最小分布方差;根据逻辑单元抽取存储盘以预测数据分布,根据预测数据分布获取构建存储盘与构建存储盘的构建分布状态;根据若干构建存储盘的构建分布状态,得到构建分布方差;将构建分布方差与最小分布方差比较以得到比较结果,根据比较结果确定优化权重表。本发明通过获取最小分布方差和构建分布方差后,以确定优化权重表,以自动预测优化权重表,以便于用于根据优化权重表设置存储盘的权重,进而调节数据分布的均衡性,既提高了数据分布的均衡性,又省时省力。

    硬盘延迟检测方法、装置及计算机可读存储介质

    公开(公告)号:CN112530505A

    公开(公告)日:2021-03-19

    申请号:CN202011596261.6

    申请日:2020-12-29

    Inventor: 王刚 田锴 祝国亮

    Abstract: 本申请公开了一种硬盘延迟检测方法、装置及计算机可读存储介质。本申请的硬盘延迟检测方法包括:获取待检测硬盘的属性数据;属性数据包括硬盘标识、性能数据、当前延迟数据;根据属性数据划分为训练集和测试集;将测试集输入到预设的延迟检测神经网络中进行测试,以得到预测延迟数据;延迟检测神经网络通过训练集训练得到;根据待检测硬盘的当前延迟数据、预测延迟数据计算延迟差值;根据延迟差值、预设的延迟阈值找到高延迟硬盘。该方法利用机器学习模型,来预测硬盘在某一时刻的预期延迟,提升了硬盘延迟检测的效率。

    基于分布式存储的性能瓶颈预测方法、设备及存储介质

    公开(公告)号:CN112328461A

    公开(公告)日:2021-02-05

    申请号:CN202011176694.6

    申请日:2020-10-29

    Abstract: 本发明公开了一种基于分布式存储的性能瓶颈预测方法、设备及存储介质,其中基于分布式存储的性能瓶颈预测方法包括:获取影响存储节点的影响因子的工作状态;根据所述工作状态判断所述影响因子异常并记录所述影响因子的异常次数;若所述异常次数超过预设异常次数阈值,输出所述存储节点的性能瓶颈信息。本发明通过获取影响存储节点的影响因子的工作状态,并根据工作状态判断影响因子的异常情况并记录影响因子的异常次数,若异常次数超过预设异常次数阈值,则输出性能瓶颈信息,一方面得出更加准确的性能瓶颈信息,另一方面以便于用户能够根据性能瓶颈信息准确地进行系统扩容,从而避免系统故障。

    文件备份的方法、系统及计算机存储介质

    公开(公告)号:CN112395132B

    公开(公告)日:2024-06-11

    申请号:CN202011265920.8

    申请日:2020-11-13

    Inventor: 王刚 田锴 祝国亮

    Abstract: 本发明公开了一种文件备份的方法、装置及计算机存储介质,涉及文件处理领域。方法应用于文件备份终端包括:接收文件备份源端发送的封装了备份文件的数据包;将数据包根据文件传输协议进行解析,得到至少一个备份文件;获取每一备份文件的文件信息,将文件信息与预设的备份策略进行匹配;根据匹配数据,将备份文件存储至备份策略中设定的存储位置;发送备份文件的备份状态。应用于文件备份源端的方法包括:获取至少一个需要备份的备份文件;根据备份文件的大小,将一个或者多个备份文件进行封装后,得到若干备份数据;将每一备份数据经文件传输协议处理后发送;根据备份文件的备份状态进行进度处理;从而提升对备份文件的管理的便利性。

    基于分布式存储系统的控制方法及系统

    公开(公告)号:CN112363675A

    公开(公告)日:2021-02-12

    申请号:CN202011292184.5

    申请日:2020-11-18

    Abstract: 本发明公开了基于分布式存储系统的控制方法及系统,基于分布式存储系统的控制方法包括:服务进程接收数据写入请求,并记录所述数据写入请求的数据写入时间和数据写入次数;所述服务进程根据所述数据写入时间或所述数据写入次数满足预设写入规则,将所述数据写入请求对应的数据写入所述服务进程的日志文件。本发明通过服务进程根据数据写入时间或数据写入次数满足预设写入规则,才将数据写入请求的数据写入到服务进程的日志文件,无需每次接收到数据写入请求都直接将数据写入到日志文件,以降低延迟,还可以提高整体的吞吐能力。

    小文件的存储方法、电子设备及存储介质

    公开(公告)号:CN112328549A

    公开(公告)日:2021-02-05

    申请号:CN202011176254.0

    申请日:2020-10-29

    Abstract: 本发明公开了一种小文件的存储方法、电子设备及存储介质。其中,小文件的存储方法包括数据回收流程,所述数据回收流程包括:接收来自客户端的删除指令;根据所述删除指令删除第一目标文件,对所述第一目标文件的数据空间执行删除操作,以释放合并目标文件的存储空间;其中,所述第一目标文件写入时被合并到所述合并目标文件中。本发明能够将海量小文件对象数据合并为大文件进行存储,当对象数据删除后,能够有效地释放这部分数据空间,不会产生数据空洞,从而实现空间的回收利用,给用户提供空间经济性,提升存储系统的性能。

    数据分布预测方法、数据均衡方法、设备及存储介质

    公开(公告)号:CN112328171B

    公开(公告)日:2024-04-30

    申请号:CN202011146994.X

    申请日:2020-10-23

    Inventor: 王刚 田锴 祝国亮

    Abstract: 本发明公开了一种数据分布预测方法、数据均衡方法、设备及存储介质,其中方法包括:读取集群数据中当前存储盘的自然分布状态;根据当前存储盘的所述自然分布状态,得到集群数据的最小分布方差;根据逻辑单元抽取存储盘以预测数据分布,根据预测数据分布获取构建存储盘与构建存储盘的构建分布状态;根据若干构建存储盘的构建分布状态,得到构建分布方差;将构建分布方差与最小分布方差比较以得到比较结果,根据比较结果确定优化权重表。本发明通过获取最小分布方差和构建分布方差后,以确定优化权重表,以自动预测优化权重表,以便于用于根据优化权重表设置存储盘的权重,进而调节数据分布的均衡性,既提高了数据分布的均衡性,又省时省力。

    文件备份的方法、系统及计算机存储介质

    公开(公告)号:CN112395132A

    公开(公告)日:2021-02-23

    申请号:CN202011265920.8

    申请日:2020-11-13

    Inventor: 王刚 田锴 祝国亮

    Abstract: 本发明公开了一种文件备份的方法、装置及计算机存储介质,涉及文件处理领域。方法应用于文件备份终端包括:接收文件备份源端发送的封装了备份文件的数据包;将数据包根据文件传输协议进行解析,得到至少一个备份文件;获取每一备份文件的文件信息,将文件信息与预设的备份策略进行匹配;根据匹配数据,将备份文件存储至备份策略中设定的存储位置;发送备份文件的备份状态。应用于文件备份源端的方法包括:获取至少一个需要备份的备份文件;根据备份文件的大小,将一个或者多个备份文件进行封装后,得到若干备份数据;将每一备份数据经文件传输协议处理后发送;根据备份文件的备份状态进行进度处理;从而提升对备份文件的管理的便利性。

Patent Agency Ranking