-
公开(公告)号：CN105447059B
公开(公告)日：2019-10-01
申请号：CN201410515092.7
申请日：2014-09-29
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本发明实施例公开了一种数据处理方法及装置，用于对热数据进行热度统计，并根据热度统计的接管对数据进行重分布。本发明实施例方法包括：在与所述LSM Tree的第一目标层对应的存储空间中确定待合并的第一数据，所述第一数据的键key值为第一key值；在与所述LSM Tree的第二目标层对应的存储空间中确定key值为所述第一key值的第二数据；确定所述第一数据为最近接收的热数据；从所述第二目标层对应的存储空间中删除所述第二数据；将所述第一数据从所述第一目标层对应的存储空间迁移到所述第二目标层对应的存储空间中；将所述第一数据重新写入所述存储系统的内存空间。
-
公开(公告)号：CN104426965B
公开(公告)日：2018-03-16
申请号：CN201310388769.0
申请日：2013-08-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: H04L29/08
CPC classification number: G06F12/00
Abstract: 本发明实施例提供一种自管理存储方法和系统，该包括：接收用户发送的第一逻辑地址分配请求；其中，所述分配请求中携带第一逻辑地址类型参数；根据所述第一逻辑地址类型参数进行查询，获取满足所述第一逻辑地址类型参数的所述第一逻辑地址；发送所述第一逻辑地址给所述用户。本发明实施例提供的方法，解决了现有技术无法根据用户的存储需求为用户提供相应的存储资源的技术问题。
-
公开(公告)号：CN105224237A
公开(公告)日：2016-01-06
申请号：CN201410226007.5
申请日：2014-05-26
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06
Abstract: 本申请提供了一种数据存储方法及装置。所述方法包括：从内存中获取需要存储至固态硬盘中的数据；将所述数据以日志结构合并树的数据结构缓存至磁性硬盘中；对所述磁性硬盘中缓存的数据执行合并操作；当所述磁性硬盘中缓存的数据容量达到预设容量时，将合并后的数据存储至所述固态硬盘中。采用本申请的方法或装置，可以解决对小粒度数据进行更新时产生的写放大问题，延长固态硬盘的使用寿命。
-
公开(公告)号：CN105447035B
公开(公告)日：2018-12-25
申请号：CN201410436604.0
申请日：2014-08-29
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本申请实施例提供了一种数据扫描方法及装置，所述方法包括：扫描在LSM树第一级存储的Key‑Value数据；针对不包括所述第一级的每一级中的每一个存储块执行：获取Key集合，所述Key集合包含已扫描全部Key；获得所述存储块的Key取值范围；获取由所述Key集合以及所述Key取值范围得到的Key交集；根据为存储块建立的Bloom Filter中存储的所述Key交集中的Key的数量，获得所述存储块的扫描精确度；在所述存储块的扫描精确度小于预设的扫描精确度时，扫描所述存储块存储的Key‑Value数据；否则不扫描所述存储块存储的Key‑Value数据，本申请实施例节省了I/O资源，提高了扫描性能。
-
公开(公告)号：CN105095287A
公开(公告)日：2015-11-25
申请号：CN201410204080.2
申请日：2014-05-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例提供一种LSM数据合并排序方法和装置，通过利用相邻两级之间SSTable的相似度，对相邻两级中键值相似度最高的一对SSTable进行合并排序操作，因为，键值相似度最高的一对SSTable内存在相同的键值最多，也就是存在键值的旧版本最多，因此，根据键值相似度确定进行合并排序操作的SSTable，能够最早最多的删除旧版本的键值，避免旧版本的键值在存储设备中存储较长时间，占用存储空间，从而，提高存储空间的利用率。
-
Patent Agency Ranking
公开(公告)号：CN105095287B
公开(公告)日：2018-09-28
申请号：CN201410204080.2
申请日：2014-05-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例提供一种LSM数据合并排序方法和装置，通过利用相邻两级之间SSTable的相似度，对相邻两级中键值相似度最高的一对SSTable进行合并排序操作，因为，键值相似度最高的一对SSTable内存在相同的键值最多，也就是存在键值的旧版本最多，因此，根据键值相似度确定进行合并排序操作的SSTable，能够最早最多的删除旧版本的键值，避免旧版本的键值在存储设备中存储较长时间，占用存储空间，从而，提高存储空间的利用率。
-
公开(公告)号：CN104298681B
公开(公告)日：2018-06-19
申请号：CN201310302791.9
申请日：2013-07-18
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30138
Abstract: 本发明实施例公开了一种数据存储方法及装置。本发明实施例方法包括：按照数据的更新频率，将所述数据进行类型划分，将存储空间划分为多个类型的簇，多个类型的簇划分为至少与所述数据的类型数量相同数量的类型，根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中，在每个簇中，每更新一次数据都会使得原数据成为垃圾数据，在数据的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高，而相对的有效数据所占的比例较少，所以系统回收垃圾数据时，读、写的有效数据量较少，同时存储空间中形成大块空闲空间的几率较高，进而能够降低垃圾回收的开销，也能够提高形成大块空闲空间的几率。
-
公开(公告)号：CN104426965A
公开(公告)日：2015-03-18
申请号：CN201310388769.0
申请日：2013-08-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: H04L29/08
CPC classification number: G06F12/00
Abstract: 本发明实施例提供一种自管理存储方法和系统，该包括：接收用户发送的第一逻辑地址分配请求；其中，所述分配请求中携带第一逻辑地址类型参数；根据所述第一逻辑地址类型参数进行查询，获取满足所述第一逻辑地址类型参数的所述第一逻辑地址；发送所述第一逻辑地址给所述用户。本发明实施例提供的方法，解决了现有技术无法根据用户的存储需求为用户提供相应的存储资源的技术问题。
-
公开(公告)号：CN104298681A
公开(公告)日：2015-01-21
申请号：CN201310302791.9
申请日：2013-07-18
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30138 , G06F17/30312
Abstract: 本发明实施例公开了一种数据存储方法及装置。本发明实施例方法包括：按照数据的更新频率，将所述数据进行类型划分，将存储空间划分为多个类型的簇，多个类型的簇划分为至少与所述数据的类型数量相同数量的类型，根据预置存储对应关系，将同类型的数据分别存储到同类型的簇中，在每个簇中，每更新一次数据都会使得原数据成为垃圾数据，在数据的更新频率快的簇中，在较短的时间形成大块的垃圾数据的几率较高，而相对的有效数据所占的比例较少，所以系统回收垃圾数据时，读、写的有效数据量较少，同时存储空间中形成大块空闲空间的几率较高，进而能够降低垃圾回收的开销，也能够提高形成大块空闲空间的几率。
-
公开(公告)号：CN105224237B
公开(公告)日：2018-06-19
申请号：CN201410226007.5
申请日：2014-05-26
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06
Abstract: 本申请提供了一种数据存储方法及装置。所述方法包括：从内存中获取需要存储至固态硬盘中的数据；将所述数据以日志结构合并树的数据结构缓存至磁性硬盘中；对所述磁性硬盘中缓存的数据执行合并操作；当所述磁性硬盘中缓存的数据容量达到预设容量时，将合并后的数据存储至所述固态硬盘中。采用本申请的方法或装置，可以解决对小粒度数据进行更新时产生的写放大问题，延长固态硬盘的使用寿命。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.031 seconds)
