-
公开(公告)号：CN104142958A
公开(公告)日：2014-11-12
申请号：CN201310172455.7
申请日：2013-05-10
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30318 , G06F17/30327
Abstract: 本发明实施例公开了一种键值对系统中数据的存储方法和相关装置，可提高对Value数据的存储操作效率。该方法包括：判断键值对中Value数据的数据量是否超过数据阈值；若Value数据的数据量没有超过数据阈值，对Value数据进行切片，得到M个分片内容；根据M个分片内容对N个分片内容生成分片信息，分片信息包括：对Value数据分片的个数、N个分片内容中每个分片内容的偏移地址、N个分片内容中每个分片内容的序列号ID、（M－N）个分片内容；将Key数据和分片信息存储在基于日志结构的合并树LSM-Tree中，将N个分片内容存储在键值对数据库中，Key数据与分片信息相对应。
-
公开(公告)号：CN103970484A
公开(公告)日：2014-08-06
申请号：CN201310047163.0
申请日：2013-02-06
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06
CPC classification number: G06F11/2069 , G06F11/1471
Abstract: 本发明实施例提供一种数据存储控制方法、装置及系统，其中数据存储控制方法包括将目标数据写入第一存储器和第二存储器，所述第一存储器和所述第二存储器属于存储器组，所述存储器组中包括至少两个存储器；在所述存储器组中存在剩余存储空间小于或等于门限值的存储器时，将所述目标数据同步到所述第一存储器的镜像存储器中，第一存储器的镜像存储器属于与所述存储器组互为镜像的存储器组；将所述第二存储器中的所述目标数据标记为无效，从而完成了目标数据的日志过程和同步过程，由于不需要单独设置日志盘存储目标数据，使得数据存储控制系统的性能不再受到日志盘性能的影响，有效地提高了数据存储控制系统的性能。
-
公开(公告)号：CN105224237B
公开(公告)日：2018-06-19
申请号：CN201410226007.5
申请日：2014-05-26
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06
Abstract: 本申请提供了一种数据存储方法及装置。所述方法包括：从内存中获取需要存储至固态硬盘中的数据；将所述数据以日志结构合并树的数据结构缓存至磁性硬盘中；对所述磁性硬盘中缓存的数据执行合并操作；当所述磁性硬盘中缓存的数据容量达到预设容量时，将合并后的数据存储至所述固态硬盘中。采用本申请的方法或装置，可以解决对小粒度数据进行更新时产生的写放大问题，延长固态硬盘的使用寿命。
-
公开(公告)号：CN104424326B
公开(公告)日：2018-06-15
申请号：CN201310409988.2
申请日：2013-09-09
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30153
Abstract: 本发明的实施例提供一种数据处理方法及装置，涉及计算机领域，能够减少数据合并的操作流程的时间，降低停等现象出现的概率和时间。包括：将数据合并的操作流程划分为至少两个阶段得到第1阶段至第m阶段，m大于或等于2，每个阶段包括一个或多个子流程；分别为每个阶段建立一个对应的线程得到m个线程；对输入第k线程的数据执行该第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程，在该第k+1线程对该处理后的数据执行对应阶段的子流程的过程中，对再次输入第k线程的数据再次执行第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程，直至所有输入第k线程的数据处理完毕。该数据处理方法及装置用于数据处理。
-
公开(公告)号：CN105447059A
公开(公告)日：2016-03-30
申请号：CN201410515092.7
申请日：2014-09-29
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例公开了一种数据处理方法及装置，用于对热数据进行热度统计，并根据热度统计的接管对数据进行重分布。本发明实施例方法包括：在与所述LSM Tree的第一目标层对应的存储空间中确定待合并的第一数据，所述第一数据的键key值为第一key值；在与所述LSM Tree的第二目标层对应的存储空间中确定key值为所述第一key值的第二数据；确定所述第一数据为最近接收的热数据；从所述第二目标层对应的存储空间中删除所述第二数据；将所述第一数据从所述第一目标层对应的存储空间迁移到所述第二目标层对应的存储空间中；将所述第一数据重新写入所述存储系统的内存空间。
-
Patent Agency Ranking
公开(公告)号：CN105447035A
公开(公告)日：2016-03-30
申请号：CN201410436604.0
申请日：2014-08-29
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本申请实施例提供了一种数据扫描方法及装置，所述方法包括：扫描在LSM树第一级存储的Key-Value数据；针对不包括所述第一级的每一级中的每一个存储块执行：获取Key集合，所述Key集合包含已扫描全部Key；获得所述存储块的Key取值范围；获取由所述Key集合以及所述Key取值范围得到的Key交集；根据为存储块建立的Bloom Filter中存储的所述Key交集中的Key的数量，获得所述存储块的扫描精确度；在所述存储块的扫描精确度小于预设的扫描精确度时，扫描所述存储块存储的Key-Value数据；否则不扫描所述存储块存储的Key-Value数据，本申请实施例节省了I/O资源，提高了扫描性能。
-
公开(公告)号：CN104424326A
公开(公告)日：2015-03-18
申请号：CN201310409988.2
申请日：2013-09-09
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30153
Abstract: 本发明的实施例提供一种数据处理方法及装置，涉及计算机领域，能够减少数据合并的操作流程的时间，降低停等现象出现的概率和时间。包括：将数据合并的操作流程划分为至少两个阶段得到第1阶段至第m阶段，m大于或等于2，每个阶段包括一个或多个子流程；分别为每个阶段建立一个对应的线程得到m个线程；对输入第k线程的数据执行该第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程，在该第k+1线程对该处理后的数据执行对应阶段的子流程的过程中，对再次输入第k线程的数据再次执行第k线程对应的阶段中的子流程，并输出处理后数据至第k+1线程，直至所有输入第k线程的数据处理完毕。该数据处理方法及装置用于数据处理。
-
公开(公告)号：CN103780692A
公开(公告)日：2014-05-07
申请号：CN201410027157.3
申请日：2014-01-13
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种键值存储的数据访问方法及其系统，该方法根据跳表中每个数据节点的数据访问频率，动态调整每个数据节点高度，以实现高频数据的快速访问，该方法包括：访问频度设置步骤和数据节点高度调整步骤，访问频度设置步骤用于跳表中的每个节点动态设置一个访问频度，数据节点高度调整步骤用于通过动态设置的访问频度调整每个节点高度，实现访问频率高的数据增加节点高度，访问频率低的数据降低节点高度。
-
公开(公告)号：CN105095287B
公开(公告)日：2018-09-28
申请号：CN201410204080.2
申请日：2014-05-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例提供一种LSM数据合并排序方法和装置，通过利用相邻两级之间SSTable的相似度，对相邻两级中键值相似度最高的一对SSTable进行合并排序操作，因为，键值相似度最高的一对SSTable内存在相同的键值最多，也就是存在键值的旧版本最多，因此，根据键值相似度确定进行合并排序操作的SSTable，能够最早最多的删除旧版本的键值，避免旧版本的键值在存储设备中存储较长时间，占用存储空间，从而，提高存储空间的利用率。
-
公开(公告)号：CN104298681B
公开(公告)日：2018-06-19
申请号：CN201310302791.9
申请日：2013-07-18
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30138
Abstract: 本发明实施例公开了一种数据存储方法及装置。本发明实施例方法包括：按照数据的更新频率，将所述数据进行类型划分，将存储空间划分为多个类型的簇，多个类型的簇划分为至少与所述数据的类型数量相同数量的类型，根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中，在每个簇中，每更新一次数据都会使得原数据成为垃圾数据，在数据的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高，而相对的有效数据所占的比例较少，所以系统回收垃圾数据时，读、写的有效数据量较少，同时存储空间中形成大块空闲空间的几率较高，进而能够降低垃圾回收的开销，也能够提高形成大块空闲空间的几率。
-
-
-
-
-
-
-
-
-
Search Results
38
records
(took 0.026 seconds)
