-
公开(公告)号:CN104426965B
公开(公告)日:2018-03-16
申请号:CN201310388769.0
申请日:2013-08-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: H04L29/08
CPC classification number: G06F12/00
Abstract: 本发明实施例提供一种自管理存储方法和系统,该包括:接收用户发送的第一逻辑地址分配请求;其中,所述分配请求中携带第一逻辑地址类型参数;根据所述第一逻辑地址类型参数进行查询,获取满足所述第一逻辑地址类型参数的所述第一逻辑地址;发送所述第一逻辑地址给所述用户。本发明实施例提供的方法,解决了现有技术无法根据用户的存储需求为用户提供相应的存储资源的技术问题。
-
公开(公告)号:CN103699336B
公开(公告)日:2016-09-07
申请号:CN201310641681.5
申请日:2013-12-03
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及磁盘阵列数据分布与重建方法和系统,该磁盘阵列包括磁盘阵列控制器、正常盘、热备盘,其中磁盘阵列控制器负责管理数据在正常盘上的分布、某一个或多个磁盘故障后的磁盘阵列重建,某一个或多个磁盘故障后,磁盘阵列控制器即选择热备盘进行重建;热备盘的存储空间划分成交替分布的数据空间和空闲空间;主磁盘中存储读出I/O热度统计存储区大小的数据,该数据经过异或运算后,运算结果写入热备盘的数据空间,在完成一次重建操作中,热备盘上I/O的磁头寻道距离减少,磁盘阵列重建速度加快。
-
公开(公告)号:CN105574008A
公开(公告)日:2016-05-11
申请号:CN201410535260.9
申请日:2014-10-11
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例提供一种应用于分布式文件系统的任务调度方法和设备,包括:元数据节点获取待处理的任务对应的数据块的标识,并根据该数据块的标识获取该数据块的待读取副本的存储信息,然后,向待读取副本所在的数据节点发送预取指令,以将该数据块从该数据节点的HDD中预取到SSD中,在预取成功后,元数据节点将所该数据块的元数据添加到预取数据成功表,后续在调度该任务时,元数据节点根据该数据块的元数据直接从SSD中读取该数据块。本发明中,由于在Map Reduce中元数据节点预先知道有哪些待处理的任务,以及这些任务对应的数据块的标识,因此,元数据节点能够准确的将将要处理的数据块预先从HDD中读取到SSD中,提高了缓存的命中率。
-
公开(公告)号:CN105224237A
公开(公告)日:2016-01-06
申请号:CN201410226007.5
申请日:2014-05-26
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06
Abstract: 本申请提供了一种数据存储方法及装置。所述方法包括:从内存中获取需要存储至固态硬盘中的数据;将所述数据以日志结构合并树的数据结构缓存至磁性硬盘中;对所述磁性硬盘中缓存的数据执行合并操作;当所述磁性硬盘中缓存的数据容量达到预设容量时,将合并后的数据存储至所述固态硬盘中。采用本申请的方法或装置,可以解决对小粒度数据进行更新时产生的写放大问题,延长固态硬盘的使用寿命。
-
公开(公告)号:CN105205011A
公开(公告)日:2015-12-30
申请号:CN201410293722.0
申请日:2014-06-25
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F12/08
Abstract: 本发明实施例提供了一种获取文件块引用计数的方法、普通客户端和管理客户端,能够实现大量用户同时对一个文件块的引用计数进行修改。该方法包括:所述普通客户端向云存储系统发起对文件块的访问请求;所述普通客户端确定所述文件块的引用计数对象的类型,其中,所述引用计数对象用于表示所述文件块的引用计数,所述引用计数对象的类型包括引用计数加1或引用计数减1,所述引用计数对象包含所述文件块的唯一标识信息;所述普通客户端根据所述引用计数对象的类型,向所述云存储系统发送对应的引用计数对象,所述引用计数对象被存储在所述云存储系统的存储器中。该方法适用于存储技术领域。
-
公开(公告)号:CN104915145A
公开(公告)日:2015-09-16
申请号:CN201410086913.X
申请日:2014-03-11
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开了一种降低LSM Tree写放大的方法和装置,涉及数据处理领域,用于解决由于受到内存大小限制,而使得Multi BF的数量有限,无法将热度评分的阈值设置为更高的数值,导致无法筛选更高更新频度的数据,影响了存储设备的使用性能的问题。本发明提供的方法具体包括:通过在有数据写入时,查询所写入的数据的key是否存在于热度表中,当查询结果为否时,将该数据直接写进持久化设备,否则,则将该key的counter加1,并判断该key的counter是否达到热度阈值,当判断结果为是时,将该key对应的数据写入PRAM设备中进行原地更新,否则将该数据直接写入持久化设备中。本发明实施例主要用于数据处理过程中。
-
公开(公告)号:CN104834478A
公开(公告)日:2015-08-12
申请号:CN201510133968.6
申请日:2015-03-25
Applicant: 中国科学院计算技术研究所
IPC: G06F3/06
Abstract: 本发明提供一种基于异构混合存储设备的数据写入方法,包括:1)按照当前的拆分比例将要写入的对象拆分为A和B两部分;2)将A部分写入SSD磁盘阵列,将A部分和B部分写入HDD磁盘阵列;3)根据SSD磁盘阵列和HDD磁盘阵列的满带宽比,以及SSD磁盘阵列当前的剩余容量,动态调整所述拆分比例,然后返回步骤1)等待下一个要写入的对象。本发明还提供了相应的数据读取方法,包括:41)对于当前所要读取的对象,并发地从SSD磁盘阵列读取该对象的A部分,从HDD磁盘阵列读取该对象的B部分;42)将A部分和B部分拼接。本发明能够提升读取大对象的速度,能够避免SSD中数据淘汰过程所造成的阻塞,从而显著提升数据读写的用户体验。
-
公开(公告)号:CN103699336A
公开(公告)日:2014-04-02
申请号:CN201310641681.5
申请日:2013-12-03
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及磁盘阵列数据分布与重建方法和系统,该磁盘阵列包括磁盘阵列控制器、正常盘、热备盘,其中磁盘阵列控制器负责管理数据在正常盘上的分布、某一个或多个磁盘故障后的磁盘阵列重建,某一个或多个磁盘故障后,磁盘阵列控制器即选择热备盘进行重建;热备盘的存储空间划分成交替分布的数据空间和空闲空间;主磁盘中存储读出I/O热度统计存储区大小的数据,该数据经过异或运算后,运算结果写入热备盘的数据空间,在完成一次重建操作中,热备盘上I/O的磁头寻道距离减少,磁盘阵列重建速度加快。
-
-
-
-
-
-
-