-
公开(公告)号:CN102663086A
公开(公告)日:2012-09-12
申请号:CN201210100902.3
申请日:2012-04-09
Applicant: 华中科技大学
IPC: G06F17/30
Abstract: 一种数据块索引的检索方法,本发明属于计算机数据存储和备份方法,解决现有数据块索引检索方法重复数据删除系统规模受到限制、重删率降低;或者在重复数据删除系统的规模增大的情况下,检索速度较慢的问题。本发明包括指纹检索步骤和存储新索引记录步骤,指纹检索步骤包括:布隆过滤器判断、读缓存队列判断、移动复制、写缓存队列判断、反向映射集合判断、动态标识集判断以及磁盘访问子步骤;存储新索引记录步骤又包括创建索引记录、写缓存包判断、写缓存队列判断和磁盘刷新子步骤。本发明提高了大数据量环境下重复数据删除索引检索的效率,维持了较低的内存占用,保证了重删率,具有良好的可扩展能力,可以提供大规模重复数据删除索引检索服务。
-
公开(公告)号:CN102571968A
公开(公告)日:2012-07-11
申请号:CN201210016419.7
申请日:2012-01-17
Applicant: 华中科技大学
Abstract: 本发明公开了一种云备份系统中的数据定向转发方法,包括步骤:云备份系统中的所有客户端周期性地上传自身信息到存储空间,云备份系统中的所有客户端周期性地构造自己的中转客户端列表,拥有待发送数据的客户端根据中转客户端列表转发数据。本发明提高了备份客户端备份数据的效率,在向云备份系统的p2p空间中注入副本时不增加源主机的备份数据总量,且不因放置副本而浪费带宽,并且在存储转发数据的过程中,使用网络中的空闲主机资源,不额外增加系统的部署成本。
-
公开(公告)号:CN101820426B
公开(公告)日:2012-05-23
申请号:CN201010152284.8
申请日:2010-04-22
Applicant: 华中科技大学
Abstract: 本发明公开了一种备份服务软件中的数据压缩方法,属于计算机存储备份服务和计算机数据压缩领域,目的在于提高存储备份服务的效率。在本发明中,提出了在客户端通过两级压缩策略来降低系统负载的方法。上层压缩即为全局压缩,对备份原始文件按照固定大小进行分块,计算每个块的hash值,将此hash值作为数据块的“身份证”,从而保证每个数据块在存储端全局范围内只有一份副本。下层压缩为块级,即通过压缩算法实现数据块内的压缩,进一步地减少了需要通过网络传输的数据量,节省带宽。两级压缩共同作用,不仅提高了备份服务的效率,减少了数据传输量,同时也提高了存储端空间的利用率。
-
公开(公告)号:CN115242727B
公开(公告)日:2023-08-08
申请号:CN202210831645.4
申请日:2022-07-15
Applicant: 深圳市腾讯计算机系统有限公司 , 华中科技大学
IPC: H04L47/52 , H04L47/6275 , H04L67/60
Abstract: 本申请公开了一种用户请求处理方法、装置、设备和介质,涉及通信技术领域,具体涉及数据处理技术领域。该方法包括:确定当前处理的请求队列中的第一待处理用户请求的数量;请求队列用于存储优先级相同的用户请求;若根据数量确定当前处理的请求队列满足换队条件,则从下一请求队列中获取第二待处理用户请求;当前处理的请求队列的优先级与下一请求队列的优先级不同;根据第一待处理用户请求和第二待处理请求更新服务器的任务处理队列;任务处理队列用于存储服务器待响应的用户请求。能够合理分配带宽,提高整体带宽的利用率。
-
公开(公告)号:CN115130032A
公开(公告)日:2022-09-30
申请号:CN202210789994.4
申请日:2022-07-05
Applicant: 华中科技大学
IPC: G06F16/957 , G06F16/958
Abstract: 本发明公开了一种异构粒度存储系统中的缺失率曲线构建方法,包括:接收访问请求序列,并设置计数器i=1,判断i是否等于访问请求序列中的访问请求总数,如果不等于则将访问请求序列中的第i条访问请求载入缓存过滤器中,并判断该第i条访问请求对应的访问对象是否在缓存过滤器中命中,如果没有则根据第i条访问请求对应的访问对象的大小获取该访问对象的采样率,根据得到的第i条访问请求对应的访问对象的采样率对该访问对象进行采样,并计算该访问对象的重用距离,设置计数器i=i+1。本发明能够解决现有异构粒度存储系统中由于内容流行度差异以及对象大小差异,从而导致的字节缺失率曲线与对象缺失率曲线构建不准确的技术问题。
-
公开(公告)号:CN111737168A
公开(公告)日:2020-10-02
申请号:CN202010585684.1
申请日:2020-06-24
Applicant: 华中科技大学 , 腾讯科技(深圳)有限公司
IPC: G06F12/0871
Abstract: 本申请实施例公开了一种缓存系统、缓存处理方法、装置、设备及介质,其中方法包括:依照当前时刻检测到的I/O请求,确定当前时刻各存储节点的缓存命中率曲线,在满足缓存处理条件时,基于最新时刻各存储节点的缓存命中率曲线确定目标缓存配置方案,并依照目标缓存配置方案指示的各存储节点的待配缓存空间大小,调整各存储节点对应缓存实例的缓存空间大小。本申请实施例,可依照I/O请求实时分析出各存储节点的缓存命中率曲线,并基于各存储节点的缓存命中率曲线搜索出最佳缓存配置方案,动态调整各缓存实例的缓存空间,有利于实现缓存空间的按需分配,有效提高缓存利用率。
-
公开(公告)号:CN110390352A
公开(公告)日:2019-10-29
申请号:CN201910557932.9
申请日:2019-06-26
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于相似性哈希的图像暗数据价值评估方法,包括以下步骤:获取暗数据集,并将该暗数据集输入训练好的DSTH模型中,以得到该暗数据集中每幅图像的哈希码,根据得到的暗数据集中每幅图像的哈希码构建哈希图谱,该哈希图谱中的节点就是图像的哈希码,节点之间的连接边是构建的邻接矩阵中的元素,获取得到的哈希图谱中每个节点的重要性分数,按照从大到小的顺序对得到的所有节点的重要性分数进行排序,将排序结果中前k位的重要性分数所对应的图像输出给用户。本发明针对企业对拥有的大规模图像暗数据占据着巨大的存储空间且缺乏管理和利用的问题,通过“点亮”其中价值被忽略的图像暗数据,提升其存储性价比。
-
公开(公告)号:CN110389942A
公开(公告)日:2019-10-29
申请号:CN201910540348.2
申请日:2019-06-21
Applicant: 华中科技大学
IPC: G06F16/21 , G06F16/215 , G06F16/22
Abstract: 本发明公开了一种无垃圾回收的键值分离存储方法,属于计算机存储技术领域,解决现有键值分离键值存储系统在更新密集型工作负载下无法实现高性能的问题。本发明主要针对更新密集型工作负载,通过对失效数据的有效管理,实现就地更新,从而消除存储过程中的垃圾回收操作,避免键值存储系统中有效数据的频繁重写,减少键值存储系统的写放大。对于更新密集型工作负载,本发明首先采用键值分离的方法将数据存储在值存储管理区,并将数据中的键存储在LSM树中进行管理,接下来通过收集、管理和复用失效数据索引对失效数据实现就地更新、覆盖回收,去除垃圾回收过程,避免由于垃圾回收而产生的开销,提升键值存储系统的性能。
-
公开(公告)号:CN106681990B
公开(公告)日:2019-10-25
申请号:CN201510744409.9
申请日:2015-11-05
Applicant: 华中科技大学
IPC: G06F16/957
Abstract: 本发明公开了一种云存储环境下缓存数据的预取方法。用户在使用移动终端时访问数据通常会具有顺序滑动屏幕切换的特点,从而使得用户在对文件数据访问时通常具有基于列表顺序的访问特性,因此可以使用基于列表顺序的数据预取策略来提高数据预取的有效性,从而提高缓存效率。基于列表顺序的数据预取策略首先需要记录用户对每个文件的历史访问记录,因此在初始使用时具有冷启动的问题,在初始时,先以初始预取长度为1进行预取,然后根据预取文件是否被访问来确定预取长度并进行预取,在有了历史访问记录之后,通过计算访问当前文件后访问其基于列表的后继文件的概率来确定是否进行预取。本发明能通过少量的流量代价来换取较大的等待延迟时间的减少。
-
公开(公告)号:CN106775438B
公开(公告)日:2019-08-30
申请号:CN201510827493.0
申请日:2015-11-25
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于固态盘不同读写特性的I/O调度方法。通过黑盒测试的方式获取固态盘内部最优的合并请求聚簇页大小;将读写请求分离,分别批量地处理读请求和写请求,来避免固态盘中读写混合模式下的相互干扰;考虑到顺序模式下读请求的性能远远高于随机模式下读请求的性能,对读请求不仅按照请求到来的时间在链表中排队,还按照读请求的起始访问地址在红黑树中排序,以构造读请求的顺序性,对排序之后的读请求进行前向合并和后向合并,合并之后请求的最大大小不超过聚簇页大小;考虑到顺序模式下写请求的性能和随机模式下写请求的性能基本相同,写请求只需要按照请求到来的时间在链表中排队,不需要在红黑树中排序构造写请求的顺序性。
-
-
-
-
-
-
-
-
-