嵌入横向扩展键值存储系统的文件系统及文件管理方法

    公开(公告)号:CN110347852A

    公开(公告)日:2019-10-18

    申请号:CN201910490456.3

    申请日:2019-06-06

    Abstract: 本发明公开了一种嵌入横向扩展键值存储系统的文件系统及文件管理方法,属于信息存储技术领域,文件系统包括:内存层、第一键值存储层以及第二键值存储层;内存层用于缓存外来写入数据,达到预设写入量后将数据写入第一键值存储层;第一键值存储层用于通过第一数据表接收并存储来自内存层的数据,并在第一数据表满时将其中存储的内容写入第二键值存储层;第二键值存储层用于通过第二数据表接收并存储来自第一键值存储层的数据;第一键值存储层还包括二级索引结构,用于记录目录/文件与第一数据表的映射关系,属于同一目录的第一数据表之间键值范围有序。本发明能够显著改善用于存储海量小文件的文件系统所存在的读放大、写放大和空间放大的问题。

    一种基于winograd算法的卷积神经网络优化方法

    公开(公告)号:CN109359726A

    公开(公告)日:2019-02-19

    申请号:CN201811428718.5

    申请日:2018-11-27

    Abstract: 本发明公开一种基于winograd算法的卷积神经网络优化方法,包括:(1)确定待优化的卷积神经网络,所述待优化的卷积神经网络包括至少一个卷积层,每个卷积层包括多个过滤器,每个过滤器有多个通道,每个通道对应一个卷积核;(2)在每个卷积层中,根据每个卷积核的绝对值之和进行排序,按比例选取绝对值之和小的卷积核进行裁剪,并更新每个卷积层的面具矩阵;(3)基于所述面具矩阵使用winograd算法确定每个过滤器对应的输出特征图。本发明基于winograd算法在转化卷积核时添加一个面具矩阵来识别已被裁剪的卷积核;使用预设矩阵W、X、M对裁剪的模型进行计算,以此避免局部非结构化带来的计算劣势。

    嵌入横向扩展键值存储系统的文件系统及文件管理方法

    公开(公告)号:CN110347852B

    公开(公告)日:2021-11-02

    申请号:CN201910490456.3

    申请日:2019-06-06

    Abstract: 本发明公开了一种嵌入横向扩展键值存储系统的文件系统及文件管理方法,属于信息存储技术领域,文件系统包括:内存层、第一键值存储层以及第二键值存储层;内存层用于缓存外来写入数据,达到预设写入量后将数据写入第一键值存储层;第一键值存储层用于通过第一数据表接收并存储来自内存层的数据,并在第一数据表满时将其中存储的内容写入第二键值存储层;第二键值存储层用于通过第二数据表接收并存储来自第一键值存储层的数据;第一键值存储层还包括二级索引结构,用于记录目录/文件与第一数据表的映射关系,属于同一目录的第一数据表之间键值范围有序。本发明能够显著改善用于存储海量小文件的文件系统所存在的读放大、写放大和空间放大的问题。

    一种基于循环神经网络的磁盘故障预测方法

    公开(公告)号:CN109634790B

    公开(公告)日:2020-07-10

    申请号:CN201811398445.4

    申请日:2018-11-22

    Abstract: 本申请公开了一种于循环神经网络的磁盘故障预测方法,选取用户定义的故障磁盘数据,利用故障磁盘数据构建双层多输出等级的GRU网络模型进行磁盘故障预测,最后平衡不同等级故障磁盘数据解决不同级别数据不平衡的问题。该方法通过划分多等级的方式,延长了预测磁盘故障的时间,提升了在实际系统中的可用性,并且通过将传统神经网络替换为GRU网络并使用基于特征递归消除的随机森林算法来选择关键特征,来简化预测模型复杂度,最后根据不同等级包含时长不同来确定训练数据的取样步长,实现了训练数据的平衡,提高了最终磁盘故障预测的准确度。

    一种数据存储方法及装置

    公开(公告)号:CN108804019B

    公开(公告)日:2020-07-07

    申请号:CN201710289023.2

    申请日:2017-04-27

    Abstract: 一种数据存储方法及装置,用以解决将瓦记录技术与LSM树技术结合应用时导致多重的读写放大,降低存储系统性能的问题。所述数据存储方法包括:从瓦记录SMR磁盘上确定能够存储目标排序字符串表SSTable组的目标磁轨带band;其中,目标SSTable组存储于日志结构合并LSM树中,所述LSM树包括至少两层,每一层包括至少一个SSTable,每一层中的键值范围位于上一层中一个SSTable的键值范围内的至少两个SSTable为一个SSTable组;在所述目标band内存储所述目标SSTable组。

    一种基于NVM与SSD混合存储结构的键值存储系统

    公开(公告)号:CN110347336A

    公开(公告)日:2019-10-18

    申请号:CN201910497294.6

    申请日:2019-06-10

    Abstract: 本发明公开了一种基于NVM与SSD混合存储结构的键值存储系统,属于数据存储技术领域。本发明提出NVM与SSD混合存储的键值存储系统,在NVM上使用多个RangeTab结构来组织LSM-Tree的第0层键值数据,传统LSM-Tree结构的0层中各SSTable键范围是无序的,且键范围允许重叠,合并时因为较大的键范围容易读写更多的数据量,增加合并操作的时延,而本发明在第0层使用RangeTab结构重新组织键值数据,将多个RangeTab映射到不同且互不重叠的键范围中,Memtable键值数据由键范围将键值数据写入相应的RangeTab结构中,以缩短该层结构数据的合并时延;通过适当增加RangeTab结构的数量来增大所有RangeTab的数据容量。在相邻层容量之比保持不变的条件下,本发明每层能够容纳更多的数据量,LSM-Tree结构层数减少,系统合并的次数也会降低。

    一种基于循环神经网络的磁盘故障预测方法

    公开(公告)号:CN109634790A

    公开(公告)日:2019-04-16

    申请号:CN201811398445.4

    申请日:2018-11-22

    Abstract: 本申请公开了一种于循环神经网络的磁盘故障预测方法,选取用户定义的故障磁盘数据,利用故障磁盘数据构建双层多输出等级的GRU网络模型进行磁盘故障预测,最后平衡不同等级故障磁盘数据解决不同级别数据不平衡的问题。该方法通过划分多等级的方式,延长了预测磁盘故障的时间,提升了在实际系统中的可用性,并且通过将传统神经网络替换为GRU网络并使用基于特征递归消除的随机森林算法来选择关键特征,来简化预测模型复杂度,最后根据不同等级包含时长不同来确定训练数据的取样步长,实现了训练数据的平衡,提高了最终磁盘故障预测的准确度。

    一种数据存储方法及装置

    公开(公告)号:CN108804019A

    公开(公告)日:2018-11-13

    申请号:CN201710289023.2

    申请日:2017-04-27

    Abstract: 一种数据存储方法及装置,用以解决将瓦记录技术与LSM树技术结合应用时导致多重的读写放大,降低存储系统性能的问题。所述数据存储方法包括:从瓦记录SMR磁盘上确定能够存储目标排序字符串表SSTable组的目标磁轨带band;其中,目标SSTable组存储于日志结构合并LSM树中,所述LSM树包括至少两层,每一层包括至少一个SSTable,每一层中的键值范围位于上一层中一个SSTable的键值范围内的至少两个SSTable为一个SSTable组;在所述目标band内存储所述目标SSTable组。

    基于混合内存的NUMA感知的键值存储系统及操作方法

    公开(公告)号:CN118779255A

    公开(公告)日:2024-10-15

    申请号:CN202410768036.8

    申请日:2024-06-14

    Abstract: 本发明公开了基于混合内存的NUMA感知的键值存储系统及操作方法,属于键值存储领域,系统包括:多个NUMA节点;各NUMA节点的PM内,键值对数据以日志项的形式追加写入日志文件中;各NUMA节点的DRAM内的第一存储区域构成易失性索引层,用于存储键和最新的值所在日志项的地址信息;各NUMA节点的DRAM内的第二存储区域构成RAF缓存,用于缓存键值对数据,访问频率越高、发起访问请求的NUMA节点访问键值对数据所在NUMA节点的PM的延迟越高的键值对数据,相应的缓存收益越大;RAF缓存发生替换时,选取缓存收益最小的条目进行替换。本发明能够优化跨NUMA节点的PM访问性能,提供高效的键值存储服务。

    一种基于NVM与SSD混合存储结构的键值存储系统

    公开(公告)号:CN110347336B

    公开(公告)日:2020-07-10

    申请号:CN201910497294.6

    申请日:2019-06-10

    Abstract: 本发明公开了一种基于NVM与SSD混合存储结构的键值存储系统,属于数据存储技术领域。本发明提出NVM与SSD混合存储的键值存储系统,在NVM上使用多个RangeTab结构来组织LSM‑Tree的第0层键值数据,传统LSM‑Tree结构的0层中各SSTable键范围是无序的,且键范围允许重叠,合并时因为较大的键范围容易读写更多的数据量,增加合并操作的时延,而本发明在第0层使用RangeTab结构重新组织键值数据,将多个RangeTab映射到不同且互不重叠的键范围中,Memtable键值数据由键范围将键值数据写入相应的RangeTab结构中,以缩短该层结构数据的合并时延;通过适当增加RangeTab结构的数量来增大所有RangeTab的数据容量。在相邻层容量之比保持不变的条件下,本发明每层能够容纳更多的数据量,LSM‑Tree结构层数减少,系统合并的次数也会降低。

Patent Agency Ranking