-
公开(公告)号：CN105095287B
公开(公告)日：2018-09-28
申请号：CN201410204080.2
申请日：2014-05-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例提供一种LSM数据合并排序方法和装置，通过利用相邻两级之间SSTable的相似度，对相邻两级中键值相似度最高的一对SSTable进行合并排序操作，因为，键值相似度最高的一对SSTable内存在相同的键值最多，也就是存在键值的旧版本最多，因此，根据键值相似度确定进行合并排序操作的SSTable，能够最早最多的删除旧版本的键值，避免旧版本的键值在存储设备中存储较长时间，占用存储空间，从而，提高存储空间的利用率。
-
公开(公告)号：CN104426965A
公开(公告)日：2015-03-18
申请号：CN201310388769.0
申请日：2013-08-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: H04L29/08
CPC classification number: G06F12/00
Abstract: 本发明实施例提供一种自管理存储方法和系统，该包括：接收用户发送的第一逻辑地址分配请求；其中，所述分配请求中携带第一逻辑地址类型参数；根据所述第一逻辑地址类型参数进行查询，获取满足所述第一逻辑地址类型参数的所述第一逻辑地址；发送所述第一逻辑地址给所述用户。本发明实施例提供的方法，解决了现有技术无法根据用户的存储需求为用户提供相应的存储资源的技术问题。
-
公开(公告)号：CN105447035B
公开(公告)日：2018-12-25
申请号：CN201410436604.0
申请日：2014-08-29
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本申请实施例提供了一种数据扫描方法及装置，所述方法包括：扫描在LSM树第一级存储的Key‑Value数据；针对不包括所述第一级的每一级中的每一个存储块执行：获取Key集合，所述Key集合包含已扫描全部Key；获得所述存储块的Key取值范围；获取由所述Key集合以及所述Key取值范围得到的Key交集；根据为存储块建立的Bloom Filter中存储的所述Key交集中的Key的数量，获得所述存储块的扫描精确度；在所述存储块的扫描精确度小于预设的扫描精确度时，扫描所述存储块存储的Key‑Value数据；否则不扫描所述存储块存储的Key‑Value数据，本申请实施例节省了I/O资源，提高了扫描性能。
-
公开(公告)号：CN105095287A
公开(公告)日：2015-11-25
申请号：CN201410204080.2
申请日：2014-05-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例提供一种LSM数据合并排序方法和装置，通过利用相邻两级之间SSTable的相似度，对相邻两级中键值相似度最高的一对SSTable进行合并排序操作，因为，键值相似度最高的一对SSTable内存在相同的键值最多，也就是存在键值的旧版本最多，因此，根据键值相似度确定进行合并排序操作的SSTable，能够最早最多的删除旧版本的键值，避免旧版本的键值在存储设备中存储较长时间，占用存储空间，从而，提高存储空间的利用率。
-
公开(公告)号：CN104142958A
公开(公告)日：2014-11-12
申请号：CN201310172455.7
申请日：2013-05-10
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30318 , G06F17/30327
Abstract: 本发明实施例公开了一种键值对系统中数据的存储方法和相关装置，可提高对Value数据的存储操作效率。该方法包括：判断键值对中Value数据的数据量是否超过数据阈值；若Value数据的数据量没有超过数据阈值，对Value数据进行切片，得到M个分片内容；根据M个分片内容对N个分片内容生成分片信息，分片信息包括：对Value数据分片的个数、N个分片内容中每个分片内容的偏移地址、N个分片内容中每个分片内容的序列号ID、（M－N）个分片内容；将Key数据和分片信息存储在基于日志结构的合并树LSM-Tree中，将N个分片内容存储在键值对数据库中，Key数据与分片信息相对应。
-
Patent Agency Ranking
公开(公告)号：CN104142958B
公开(公告)日：2018-03-13
申请号：CN201310172455.7
申请日：2013-05-10
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例公开了一种键值对系统中数据的存储方法和相关装置，可提高对Value数据的存储操作效率。该方法包括：判断键值对中Value数据的数据量是否超过数据阈值；若Value数据的数据量没有超过数据阈值，对Value数据进行切片，得到M个分片内容；根据M个分片内容对N个分片内容生成分片信息，分片信息包括：对Value数据分片的个数、N个分片内容中每个分片内容的偏移地址、N个分片内容中每个分片内容的序列号ID、（M－N）个分片内容；将Key数据和分片信息存储在基于日志结构的合并树LSM‑Tree中，将N个分片内容存储在键值对数据库中，Key数据与分片信息相对应。
-
公开(公告)号：CN107329705A
公开(公告)日：2017-11-07
申请号：CN201710532428.4
申请日：2017-07-03
Applicant: 中国科学院计算技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种针对异构存储的Shuffle方法，包括以下步骤：将异构存储设备按照其介质类型分别组成相应的资源池；据负载类型将Shuffle数据写入相应的所述资源池中。
-
公开(公告)号：CN107220069A
公开(公告)日：2017-09-29
申请号：CN201710532420.8
申请日：2017-07-03
Applicant: 中国科学院计算技术研究所
IPC: G06F9/44
Abstract: 本发明涉及一种针对非易失性内存的Shuffle方法，包括以下步骤：利用分区ID将Map任务的输出数据分别写入持久化缓冲区；拉取Reduce任务对应的所述持久化缓冲区中的数据。
-
公开(公告)号：CN107220069B
公开(公告)日：2020-06-05
申请号：CN201710532420.8
申请日：2017-07-03
Applicant: 中国科学院计算技术研究所
IPC: G06F8/30
Abstract: 本发明涉及一种针对非易失性内存的Shuffle方法，包括以下步骤：利用分区ID将Map任务的输出数据分别写入持久化缓冲区；拉取Reduce任务对应的所述持久化缓冲区中的数据。
-
公开(公告)号：CN104426965B
公开(公告)日：2018-03-16
申请号：CN201310388769.0
申请日：2013-08-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: H04L29/08
CPC classification number: G06F12/00
Abstract: 本发明实施例提供一种自管理存储方法和系统，该包括：接收用户发送的第一逻辑地址分配请求；其中，所述分配请求中携带第一逻辑地址类型参数；根据所述第一逻辑地址类型参数进行查询，获取满足所述第一逻辑地址类型参数的所述第一逻辑地址；发送所述第一逻辑地址给所述用户。本发明实施例提供的方法，解决了现有技术无法根据用户的存储需求为用户提供相应的存储资源的技术问题。
-
-
-
-
-
-
-
-
-
Search Results
15
records
(took 0.025 seconds)
