-
公开(公告)号：CN105138622A
公开(公告)日：2015-12-09
申请号：CN201510501523.9
申请日：2015-08-14
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F17/30324
Abstract: 本发明提供一种用于LSM树存储系统的插入操作方法，包括:1)将待插入值和待插入键构建为键-值结构体并将该新构建的键-值结构体作为待插入键的最新数据分段存储到数据库中；对于该新构建的键-值结构体，保存待插入键之前已经累积的数据分段的总数据量，保存待插入键的前一数据分段的存储位置；2)更新插入表的待插入键的表项；所述插入表记录每个键的所有数据分段的总数据量和最新数据分段的存储位置。本发明还提供了相应的插入操作负载的读取方法和合并方法。本发明能够避免插入操作因读/写放大问题所导致的系统开销增加；能够在数据由低层向高层移动的过程中将插入操作负载聚合；能够提高插入操作负载的读性能。
-
公开(公告)号：CN105447059A
公开(公告)日：2016-03-30
申请号：CN201410515092.7
申请日：2014-09-29
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例公开了一种数据处理方法及装置，用于对热数据进行热度统计，并根据热度统计的接管对数据进行重分布。本发明实施例方法包括：在与所述LSM Tree的第一目标层对应的存储空间中确定待合并的第一数据，所述第一数据的键key值为第一key值；在与所述LSM Tree的第二目标层对应的存储空间中确定key值为所述第一key值的第二数据；确定所述第一数据为最近接收的热数据；从所述第二目标层对应的存储空间中删除所述第二数据；将所述第一数据从所述第一目标层对应的存储空间迁移到所述第二目标层对应的存储空间中；将所述第一数据重新写入所述存储系统的内存空间。
-
公开(公告)号：CN105574008B
公开(公告)日：2020-01-31
申请号：CN201410535260.9
申请日：2014-10-11
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F16/182
Abstract: 本发明实施例提供一种应用于分布式文件系统的任务调度方法和设备，包括：元数据节点获取待处理的任务对应的数据块的标识，并根据该数据块的标识获取该数据块的待读取副本的存储信息，然后，向待读取副本所在的数据节点发送预取指令，以将该数据块从该数据节点的HDD中预取到SSD中，在预取成功后，元数据节点将所该数据块的元数据添加到预取数据成功表，后续在调度该任务时，元数据节点根据该数据块的元数据直接从SSD中读取该数据块。本发明中，由于在Map Reduce中元数据节点预先知道有哪些待处理的任务，以及这些任务对应的数据块的标识，因此，元数据节点能够准确的将将要处理的数据块预先从HDD中读取到SSD中，提高了缓存的命中率。
-
公开(公告)号：CN104834478B
公开(公告)日：2018-05-22
申请号：CN201510133968.6
申请日：2015-03-25
Applicant: 中国科学院计算技术研究所
IPC: G06F3/06
Abstract: 本发明提供一种基于异构混合存储设备的数据写入方法，包括：1)按照当前的拆分比例将要写入的对象拆分为A和B两部分；2)将A部分写入SSD磁盘阵列，将A部分和B部分写入HDD磁盘阵列；3)根据SSD磁盘阵列和HDD磁盘阵列的满带宽比，以及SSD磁盘阵列当前的剩余容量，动态调整所述拆分比例，然后返回步骤1)等待下一个要写入的对象。本发明还提供了相应的数据读取方法，包括：41)对于当前所要读取的对象，并发地从SSD磁盘阵列读取该对象的A部分，从HDD磁盘阵列读取该对象的B部分；42)将A部分和B部分拼接。本发明能够提升读取大对象的速度，能够避免SSD中数据淘汰过程所造成的阻塞，从而显著提升数据读写的用户体验。
-
公开(公告)号：CN105447059B
公开(公告)日：2019-10-01
申请号：CN201410515092.7
申请日：2014-09-29
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本发明实施例公开了一种数据处理方法及装置，用于对热数据进行热度统计，并根据热度统计的接管对数据进行重分布。本发明实施例方法包括：在与所述LSM Tree的第一目标层对应的存储空间中确定待合并的第一数据，所述第一数据的键key值为第一key值；在与所述LSM Tree的第二目标层对应的存储空间中确定key值为所述第一key值的第二数据；确定所述第一数据为最近接收的热数据；从所述第二目标层对应的存储空间中删除所述第二数据；将所述第一数据从所述第一目标层对应的存储空间迁移到所述第二目标层对应的存储空间中；将所述第一数据重新写入所述存储系统的内存空间。
-
Patent Agency Ranking
公开(公告)号：CN105138622B
公开(公告)日：2018-05-22
申请号：CN201510501523.9
申请日：2015-08-14
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供一种用于LSM树存储系统的插入操作方法，包括:1)将待插入值和待插入键构建为键‑值结构体并将该新构建的键‑值结构体作为待插入键的最新数据分段存储到数据库中；对于该新构建的键‑值结构体，保存待插入键之前已经累积的数据分段的总数据量，保存待插入键的前一数据分段的存储位置；2)更新插入表的待插入键的表项；所述插入表记录每个键的所有数据分段的总数据量和最新数据分段的存储位置。本发明还提供了相应的插入操作负载的读取方法和合并方法。本发明能够避免插入操作因读/写放大问题所导致的系统开销增加；能够在数据由低层向高层移动的过程中将插入操作负载聚合；能够提高插入操作负载的读性能。
-
公开(公告)号：CN104915145B
公开(公告)日：2018-05-18
申请号：CN201410086913.X
申请日：2014-03-11
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开了一种降低LSM Tree写放大的方法和装置，涉及数据处理领域，用于解决由于受到内存大小限制，而使得Multi BF的数量有限，无法将热度评分的阈值设置为更高的数值，导致无法筛选更高更新频度的数据，影响了存储设备的使用性能的问题。本发明提供的方法具体包括：通过在有数据写入时，查询所写入的数据的key是否存在于热度表中，当查询结果为否时，将该数据直接写进持久化设备，否则，则将该key的counter加1，并判断该key的counter是否达到热度阈值，当判断结果为是时，将该key对应的数据写入PRAM设备中进行原地更新，否则将该数据直接写入持久化设备中。本发明实施例主要用于数据处理过程中。
-
公开(公告)号：CN103699336B
公开(公告)日：2016-09-07
申请号：CN201310641681.5
申请日：2013-12-03
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及磁盘阵列数据分布与重建方法和系统，该磁盘阵列包括磁盘阵列控制器、正常盘、热备盘，其中磁盘阵列控制器负责管理数据在正常盘上的分布、某一个或多个磁盘故障后的磁盘阵列重建，某一个或多个磁盘故障后，磁盘阵列控制器即选择热备盘进行重建；热备盘的存储空间划分成交替分布的数据空间和空闲空间；主磁盘中存储读出I/O热度统计存储区大小的数据，该数据经过异或运算后，运算结果写入热备盘的数据空间，在完成一次重建操作中，热备盘上I/O的磁头寻道距离减少，磁盘阵列重建速度加快。
-
公开(公告)号：CN105574008A
公开(公告)日：2016-05-11
申请号：CN201410535260.9
申请日：2014-10-11
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明实施例提供一种应用于分布式文件系统的任务调度方法和设备，包括：元数据节点获取待处理的任务对应的数据块的标识，并根据该数据块的标识获取该数据块的待读取副本的存储信息，然后，向待读取副本所在的数据节点发送预取指令，以将该数据块从该数据节点的HDD中预取到SSD中，在预取成功后，元数据节点将所该数据块的元数据添加到预取数据成功表，后续在调度该任务时，元数据节点根据该数据块的元数据直接从SSD中读取该数据块。本发明中，由于在Map Reduce中元数据节点预先知道有哪些待处理的任务，以及这些任务对应的数据块的标识，因此，元数据节点能够准确的将将要处理的数据块预先从HDD中读取到SSD中，提高了缓存的命中率。
-
公开(公告)号：CN104915145A
公开(公告)日：2015-09-16
申请号：CN201410086913.X
申请日：2014-03-11
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开了一种降低LSM Tree写放大的方法和装置，涉及数据处理领域，用于解决由于受到内存大小限制，而使得Multi BF的数量有限，无法将热度评分的阈值设置为更高的数值，导致无法筛选更高更新频度的数据，影响了存储设备的使用性能的问题。本发明提供的方法具体包括：通过在有数据写入时，查询所写入的数据的key是否存在于热度表中，当查询结果为否时，将该数据直接写进持久化设备，否则，则将该key的counter加1，并判断该key的counter是否达到热度阈值，当判断结果为是时，将该key对应的数据写入PRAM设备中进行原地更新，否则将该数据直接写入持久化设备中。本发明实施例主要用于数据处理过程中。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.035 seconds)
