-
公开(公告)号:CN112463044A
公开(公告)日:2021-03-09
申请号:CN202011318905.5
申请日:2020-11-23
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种保证分布式存储系统服务器端读尾延迟的方法及系统,包括通过应用负载特征建模对应用分为不可延后服务应用与可延后服务应用两类,对两类应用预分配资源。存储节点服务应用时,对不同类型的应用进行匹配,使匹配的应用组合共享服务速率。根据应用负载的变化动态地交换资源,以保证应用尾延迟SLO的应用准入控制方法。
-
公开(公告)号:CN105205011B
公开(公告)日:2019-01-18
申请号:CN201410293722.0
申请日:2014-06-25
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06 , G06F12/0866
Abstract: 本发明实施例提供了一种获取文件块引用计数的方法、普通客户端和管理客户端,能够实现大量用户同时对一个文件块的引用计数进行修改。该方法包括:所述普通客户端向云存储系统发起对文件块的访问请求;所述普通客户端确定所述文件块的引用计数对象的类型,其中,所述引用计数对象用于表示所述文件块的引用计数,所述引用计数对象的类型包括引用计数加1或引用计数减1,所述引用计数对象包含所述文件块的唯一标识信息;所述普通客户端根据所述引用计数对象的类型,向所述云存储系统发送对应的引用计数对象,所述引用计数对象被存储在所述云存储系统的存储器中。该方法适用于存储技术领域。
-
公开(公告)号:CN105446888B
公开(公告)日:2018-10-12
申请号:CN201410240821.2
申请日:2014-05-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本发明实施例提供一种存储设备间移动数据的方法、控制器和存储系统。方法,包括:一体化存储UAS控制器接收用户空间库发送的数据移动请求,所述数据移动请求包括源存储设备的源地址、目的存储设备的目的地址以及所需移动的数据大小,所述数据移动请求为所述用户空间库接收到应用程序对所述用户空间库中的数据移动应用程序接口API的调用请求时发送的;所述UAS控制器根据所述源地址、目的地址以及数据大小,将待移动数据从所述源存储设备移动到目的存储设备。本发明实施例的数据移动过程,在用户态即可实现两个存储设备之间的直接的数据移动,而无需操作系统参与,无需进入内核态,从而可以节约系统开销。
-
公开(公告)号:CN105094761B
公开(公告)日:2018-06-15
申请号:CN201410182608.0
申请日:2014-04-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
CPC classification number: G06F12/16
Abstract: 本发明公开了一种数据存储方法和设备,以在一定程度上解决现有的数据副本方式的存储系统不能兼顾读写性能的技术问题。在本发明一些可行的实施方式中,方法包括:将待存储数据的第一个副本以第一种数据组织方式写入主存储子系统中的多个主存储装置,将待存储数据的第二个副本以第二种数据组织方式写入备存储子系统中的值日备存储装置;将值日备存储装置对应的主存储装置中存储的、与值日备存储装置不一致的数据读出,并将读出的不一致数据以第三种数据组织方式写入值日备存储装置;第一种数据组织方式和第二种数据组织方式是写优化的,且第二种数据组织方式的写入速度快于第一种数据组织方式的写入速度,第三种数据组织方式则是读优化的。
-
公开(公告)号:CN105094686B
公开(公告)日:2018-04-10
申请号:CN201410193960.4
申请日:2014-05-09
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06 , G06F12/121
CPC classification number: G06F12/0868 , G06F3/061 , G06F3/0619 , G06F3/0631 , G06F3/065 , G06F3/068 , G06F3/0685 , G06F12/08 , G06F12/122 , G06F12/128 , G06F2212/604
Abstract: 本发明实施例提供一种数据缓存方法、缓存和计算机系统。本发明实施例中,Cache在访问请求不命中需要确定待替换的Cache line时,不仅需要考虑Cache line的历史访问频率,还要考虑Cache line对应的内存类型,从而可以优先替换与DRAM内存类型对应的Cache line,减少Cache对存储于DRAM的数据的缓存量,从而使得Cache能够提高对存储于NVM中的数据的缓存量,使得针对存储于NVM中的数据的访问请求尽可能的在Cache中能够找到相应的数据,从而减少了从NVM中读取数据的情形,减少了从NVM中读取数据的延迟,有效的提高访问效率。
-
公开(公告)号:CN103902632B
公开(公告)日:2018-01-02
申请号:CN201210590105.8
申请日:2012-12-31
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
CPC classification number: G06F17/30914 , G06F17/30067 , G06F17/30091 , G06F17/30233
Abstract: 本发明涉及数据存储领域,特别是涉及一种键值存储系统中构建文件系统的方法、装置及电子设备。在本发明所公开的键值存储系统中构建文件系统的方法,首先获取各级目录的目录路径对应的目录编号,再根据所述目录编号以及各级目录下所存储的文件,构建目录和文件相应的关键字Key,这种情况下,由于所述关键字Key中的目录编号所占的空间较小,且各个目录编号为唯一的,不存在重复的现象,有效节省了存储空间;另外,根据所述目录编号构建了与所述目录相对应的目录关键字Key,在需要对目录进行操作时,可直接根据目录的关键字Key获取待操作的目录,操作过程得到简化。
-
公开(公告)号:CN105450232A
公开(公告)日:2016-03-30
申请号:CN201410432775.6
申请日:2014-08-28
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: H03M7/00
CPC classification number: H03M7/00
Abstract: 本发明实施例提供一种编码、解码方法以及编码装置和解码装置,所述编码方法包括:获取待编码的数据,所述待编码的数据为二进制字符串;根据64进制编码规则对所述待编码的数据进行编码以得到所述待编码的数据对应的编码数据,所述编码数据为64进制的编码字符串,其中,所述64进制编码规则使用如下64个字符:0-9、@、A-Z、_、a-z。所述编码方法在缩短待编码的数据的长度节约存储空间的基础上,由于本发明实施例中的编码方法采用的字符集中的所有字符均能在linux操作系统和windows操作系统下作为文件名使用,并且字符“@”和“_”可以在shell、正则表达式中直接使用,且兼容常用语言C/C++/Java中的代码语句,具有更强的兼容性。
-
公开(公告)号:CN105446888A
公开(公告)日:2016-03-30
申请号:CN201410240821.2
申请日:2014-05-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
CPC classification number: G06F12/02
Abstract: 本发明实施例提供一种存储设备间移动数据的方法、控制器和存储系统。方法,包括:一体化存储UAS控制器接收用户空间库发送的数据移动请求,所述数据移动请求包括源存储设备的源地址、目的存储设备的目的地址以及所需移动的数据大小,所述数据移动请求为所述用户空间库接收到应用程序对所述用户空间库中的数据移动应用程序接口API的调用请求时发送的;所述UAS控制器根据所述源地址、目的地址以及数据大小,将待移动数据从所述源存储设备移动到目的存储设备。本发明实施例的数据移动过程,在用户态即可实现两个存储设备之间的直接的数据移动,而无需操作系统参与,无需进入内核态,从而可以节约系统开销。
-
公开(公告)号:CN105138481A
公开(公告)日:2015-12-09
申请号:CN201410240335.0
申请日:2014-05-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F13/28
CPC classification number: G06F12/08
Abstract: 本发明实施例提供一种存储数据的处理方法、装置和系统,该方法包括:处理设备获取待存储数据的虚拟地址;所述待存储数据位于存储控制设备的非持久化存储介质中;所述处理设备将所述虚拟地址发送至所述存储控制设备,以使所述存储控制设备将所述待存储数据存储至所述存储控制设备的持久化存储介质中;通过存储数据的处理方法和装置,可根据待存储数据的虚拟地址,直接控制存储控制设备将所述待存储数据存储至所述存储控制设备的持久化存储介质中,以实现待存储数据的持久化,使得数据持久化广泛应用于各种场景下,不会由于不能获知待存储数据的物理地址而不能实现待存储数据的持久化,从而提升了存储系统持久化存储数据的性能。
-
公开(公告)号:CN104142958A
公开(公告)日:2014-11-12
申请号:CN201310172455.7
申请日:2013-05-10
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30318 , G06F17/30327
Abstract: 本发明实施例公开了一种键值对系统中数据的存储方法和相关装置,可提高对Value数据的存储操作效率。该方法包括:判断键值对中Value数据的数据量是否超过数据阈值;若Value数据的数据量没有超过数据阈值,对Value数据进行切片,得到M个分片内容;根据M个分片内容对N个分片内容生成分片信息,分片信息包括:对Value数据分片的个数、N个分片内容中每个分片内容的偏移地址、N个分片内容中每个分片内容的序列号ID、(M-N)个分片内容;将Key数据和分片信息存储在基于日志结构的合并树LSM-Tree中,将N个分片内容存储在键值对数据库中,Key数据与分片信息相对应。
-
-
-
-
-
-
-
-
-