-
公开(公告)号：CN104142958B
公开(公告)日：2018-03-13
申请号：CN201310172455.7
申请日：2013-05-10
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例公开了一种键值对系统中数据的存储方法和相关装置，可提高对Value数据的存储操作效率。该方法包括：判断键值对中Value数据的数据量是否超过数据阈值；若Value数据的数据量没有超过数据阈值，对Value数据进行切片，得到M个分片内容；根据M个分片内容对N个分片内容生成分片信息，分片信息包括：对Value数据分片的个数、N个分片内容中每个分片内容的偏移地址、N个分片内容中每个分片内容的序列号ID、（M－N）个分片内容；将Key数据和分片信息存储在基于日志结构的合并树LSM‑Tree中，将N个分片内容存储在键值对数据库中，Key数据与分片信息相对应。
-
公开(公告)号：CN105094761A
公开(公告)日：2015-11-25
申请号：CN201410182608.0
申请日：2014-04-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F9/44
CPC classification number: G06F12/16
Abstract: 本发明公开了一种数据存储方法和设备，以在一定程度上解决现有的数据副本方式的存储系统不能兼顾读写性能的技术问题。在本发明一些可行的实施方式中，方法包括：将待存储数据的第一个副本以第一种数据组织方式写入主存储子系统中的多个主存储装置，将待存储数据的第二个副本以第二种数据组织方式写入备存储子系统中的值日备存储装置；将值日备存储装置对应的主存储装置中存储的、与值日备存储装置不一致的数据读出，并将读出的不一致数据以第三种数据组织方式写入值日备存储装置；第一种数据组织方式和第二种数据组织方式是写优化的，且第二种数据组织方式的写入速度快于第一种数据组织方式的写入速度，第三种数据组织方式则是读优化的。
-
公开(公告)号：CN105574008B
公开(公告)日：2020-01-31
申请号：CN201410535260.9
申请日：2014-10-11
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F16/182
Abstract: 本发明实施例提供一种应用于分布式文件系统的任务调度方法和设备，包括：元数据节点获取待处理的任务对应的数据块的标识，并根据该数据块的标识获取该数据块的待读取副本的存储信息，然后，向待读取副本所在的数据节点发送预取指令，以将该数据块从该数据节点的HDD中预取到SSD中，在预取成功后，元数据节点将所该数据块的元数据添加到预取数据成功表，后续在调度该任务时，元数据节点根据该数据块的元数据直接从SSD中读取该数据块。本发明中，由于在Map Reduce中元数据节点预先知道有哪些待处理的任务，以及这些任务对应的数据块的标识，因此，元数据节点能够准确的将将要处理的数据块预先从HDD中读取到SSD中，提高了缓存的命中率。
-
公开(公告)号：CN105205011B
公开(公告)日：2019-01-18
申请号：CN201410293722.0
申请日：2014-06-25
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06 , G06F12/0866
Abstract: 本发明实施例提供了一种获取文件块引用计数的方法、普通客户端和管理客户端，能够实现大量用户同时对一个文件块的引用计数进行修改。该方法包括：所述普通客户端向云存储系统发起对文件块的访问请求；所述普通客户端确定所述文件块的引用计数对象的类型，其中，所述引用计数对象用于表示所述文件块的引用计数，所述引用计数对象的类型包括引用计数加1或引用计数减1，所述引用计数对象包含所述文件块的唯一标识信息；所述普通客户端根据所述引用计数对象的类型，向所述云存储系统发送对应的引用计数对象，所述引用计数对象被存储在所述云存储系统的存储器中。该方法适用于存储技术领域。
-
公开(公告)号：CN105447035B
公开(公告)日：2018-12-25
申请号：CN201410436604.0
申请日：2014-08-29
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本申请实施例提供了一种数据扫描方法及装置，所述方法包括：扫描在LSM树第一级存储的Key‑Value数据；针对不包括所述第一级的每一级中的每一个存储块执行：获取Key集合，所述Key集合包含已扫描全部Key；获得所述存储块的Key取值范围；获取由所述Key集合以及所述Key取值范围得到的Key交集；根据为存储块建立的Bloom Filter中存储的所述Key交集中的Key的数量，获得所述存储块的扫描精确度；在所述存储块的扫描精确度小于预设的扫描精确度时，扫描所述存储块存储的Key‑Value数据；否则不扫描所述存储块存储的Key‑Value数据，本申请实施例节省了I/O资源，提高了扫描性能。
-
Patent Agency Ranking
公开(公告)号：CN105094761B
公开(公告)日：2018-06-15
申请号：CN201410182608.0
申请日：2014-04-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
CPC classification number: G06F12/16
Abstract: 本发明公开了一种数据存储方法和设备，以在一定程度上解决现有的数据副本方式的存储系统不能兼顾读写性能的技术问题。在本发明一些可行的实施方式中，方法包括：将待存储数据的第一个副本以第一种数据组织方式写入主存储子系统中的多个主存储装置，将待存储数据的第二个副本以第二种数据组织方式写入备存储子系统中的值日备存储装置；将值日备存储装置对应的主存储装置中存储的、与值日备存储装置不一致的数据读出，并将读出的不一致数据以第三种数据组织方式写入值日备存储装置；第一种数据组织方式和第二种数据组织方式是写优化的，且第二种数据组织方式的写入速度快于第一种数据组织方式的写入速度，第三种数据组织方式则是读优化的。
-
公开(公告)号：CN104834478B
公开(公告)日：2018-05-22
申请号：CN201510133968.6
申请日：2015-03-25
Applicant: 中国科学院计算技术研究所
IPC: G06F3/06
Abstract: 本发明提供一种基于异构混合存储设备的数据写入方法，包括：1)按照当前的拆分比例将要写入的对象拆分为A和B两部分；2)将A部分写入SSD磁盘阵列，将A部分和B部分写入HDD磁盘阵列；3)根据SSD磁盘阵列和HDD磁盘阵列的满带宽比，以及SSD磁盘阵列当前的剩余容量，动态调整所述拆分比例，然后返回步骤1)等待下一个要写入的对象。本发明还提供了相应的数据读取方法，包括：41)对于当前所要读取的对象，并发地从SSD磁盘阵列读取该对象的A部分，从HDD磁盘阵列读取该对象的B部分；42)将A部分和B部分拼接。本发明能够提升读取大对象的速度，能够避免SSD中数据淘汰过程所造成的阻塞，从而显著提升数据读写的用户体验。
-
公开(公告)号：CN103902632B
公开(公告)日：2018-01-02
申请号：CN201210590105.8
申请日：2012-12-31
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
CPC classification number: G06F17/30914 , G06F17/30067 , G06F17/30091 , G06F17/30233
Abstract: 本发明涉及数据存储领域，特别是涉及一种键值存储系统中构建文件系统的方法、装置及电子设备。在本发明所公开的键值存储系统中构建文件系统的方法，首先获取各级目录的目录路径对应的目录编号，再根据所述目录编号以及各级目录下所存储的文件，构建目录和文件相应的关键字Key，这种情况下，由于所述关键字Key中的目录编号所占的空间较小，且各个目录编号为唯一的，不存在重复的现象，有效节省了存储空间；另外，根据所述目录编号构建了与所述目录相对应的目录关键字Key，在需要对目录进行操作时，可直接根据目录的关键字Key获取待操作的目录，操作过程得到简化。
-
公开(公告)号：CN105450232A
公开(公告)日：2016-03-30
申请号：CN201410432775.6
申请日：2014-08-28
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: H03M7/00
CPC classification number: H03M7/00
Abstract: 本发明实施例提供一种编码、解码方法以及编码装置和解码装置，所述编码方法包括：获取待编码的数据，所述待编码的数据为二进制字符串；根据64进制编码规则对所述待编码的数据进行编码以得到所述待编码的数据对应的编码数据，所述编码数据为64进制的编码字符串，其中，所述64进制编码规则使用如下64个字符：0-9、@、A-Z、_、a-z。所述编码方法在缩短待编码的数据的长度节约存储空间的基础上，由于本发明实施例中的编码方法采用的字符集中的所有字符均能在linux操作系统和windows操作系统下作为文件名使用，并且字符“@”和“_”可以在shell、正则表达式中直接使用，且兼容常用语言C/C++/Java中的代码语句，具有更强的兼容性。
-
公开(公告)号：CN105095287A
公开(公告)日：2015-11-25
申请号：CN201410204080.2
申请日：2014-05-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例提供一种LSM数据合并排序方法和装置，通过利用相邻两级之间SSTable的相似度，对相邻两级中键值相似度最高的一对SSTable进行合并排序操作，因为，键值相似度最高的一对SSTable内存在相同的键值最多，也就是存在键值的旧版本最多，因此，根据键值相似度确定进行合并排序操作的SSTable，能够最早最多的删除旧版本的键值，避免旧版本的键值在存储设备中存储较长时间，占用存储空间，从而，提高存储空间的利用率。
-
-
-
-
-
-
-
-
-
Search Results
38
records
(took 0.028 seconds)
