-
公开(公告)号:CN116382908A
公开(公告)日:2023-07-04
申请号:CN202310348266.4
申请日:2023-04-03
Applicant: 华中科技大学
IPC: G06F9/50 , G06F18/243 , G06N5/01
Abstract: 本发明公开了一种基于机器学习探测低效使用缓存空间租户的方法,包括以下步骤:采集租户的租户缓存信息,并先后对该租户的租户缓存信息进行向量化处理和归一化处理,以获取该租户对应的多个特征向量,将得到的租户的特征向量输入到预先训练好的机器学习模型中,以获取该租户的探测结果。本发明能够解决现有静态探测技术在租户访问模式发生改变后探测准确度不高,不适用于云环境下动态多变的工作负载模式的技术问题,以及现有动态探测技术受限于构建缺失率曲线需要花费大量的时间,无法适用于云环境下实时探测的场景的技术问题,以及当租户数量庞大的情况下,动态探测技术开销庞大的技术问题。
-
公开(公告)号:CN111782491B
公开(公告)日:2022-03-22
申请号:CN201911122229.1
申请日:2019-11-15
Applicant: 华中科技大学
Abstract: 本发明公开了一种磁盘故障预测方法、装置、设备及存储介质,所述磁盘故障预测方法包括:数据预处理、磁盘故障预测模型的训练及预测;所述数据预处理包括:将收集到的SMART数据预处理为图像形式的二维表示;所述磁盘故障预测模型的训练及预测包括:利用处理后的数据进行模型训练,采用训练好的模型对后续的SMART数据进行在线预测,所述模型训练采用基于对抗式生成网络的磁盘故障预测模型。本发明的磁盘故障预测方法可以对磁盘使用的整个生命周期的故障进行有效预测。
-
公开(公告)号:CN110209343B
公开(公告)日:2021-12-14
申请号:CN201810814260.0
申请日:2018-07-23
Applicant: 腾讯科技(深圳)有限公司 , 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种数据存储方法、装置、服务器及存储介质,属于互联网技术领域。所述方法包括:当接收到对第一数据的写入请求时,查询第二数据的存储位置;当查询到第二数据存储在第一缓存单元时,将第一数据存储到第二缓存单元中;返回对第一数据的写入结果。本发明基于第一缓存单元和第二缓存单元对数据进行存储,相比于单独采用第二缓存单元的数据存储方式,节省了成本,对于已存储在第一缓存单元中的数据,当再次对该数据进行存储时,将该数据存储到第二缓存单元,不仅提高了数据读写速度,而且减少了对第一缓存单元的数据写入次数,避免了第一缓存单元损坏,提高了数据安全性,该种方式兼顾了成本、数据读写速度及安全性等方面的需求。
-
公开(公告)号:CN111104066A
公开(公告)日:2020-05-05
申请号:CN201911304631.1
申请日:2019-12-17
Applicant: 华中科技大学 , 腾讯科技(深圳)有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据写入方法、装置及一种存储服务器和计算机可读存储介质,该方法包括:当接收到写入请求时,将所述写入请求对应的写入数据写入写缓冲区中;当触发所述写缓冲区的数据下刷操作时,获取所述待下刷数据对应的数据块的历史访问数据;基于所述历史访问数据判断待下刷数据是否为只写数据;若是,则将所述待下刷数据写入硬盘驱动器中;若否,则将所述待下刷数据写入缓存中。本申请提供的数据写入方法,可以有效减少写入缓存的无用流量,同时在缓存中为普通数据留出更多空间,提高缓存空间利用率,从而提高缓存的读取命中率,提升存储系统的读性能,实现了对缓存的最低写入流量,提高了写策略的效率。
-
公开(公告)号:CN107291875B
公开(公告)日:2019-12-06
申请号:CN201710461529.7
申请日:2017-06-19
Applicant: 华中科技大学
IPC: G06F16/14 , G06F16/16 , G06F16/182 , G06F16/901
Abstract: 本发明公开了一种基于元数据图的元数据组织管理方法和系统,其中方法的实现包括:存储文件得到文件元数据,提取文件的语义信息,利用语义信息构建语义元数据;利用文件元数据和语义元数据在语义上的联系,构建元数据图;利用元数据图,进行元数据组织管理,提供智能化服务。本发明构建元数据图,利用元数据图丰富的文件元数据和语义信息进行元数据组织管理,提供智能化服务。本发明利用元数据图进行元数据组织管理效率高、功能丰富、扩展性强、智能化程度高、可以进行数据的挖掘与分析、实现智能化服务。
-
公开(公告)号:CN110245094A
公开(公告)日:2019-09-17
申请号:CN201910526384.3
申请日:2019-06-18
Applicant: 华中科技大学
IPC: G06F12/0862
Abstract: 本发明公开了一种基于深度学习的块级缓存预取优化方法,包括:从测试数据集获取以字节为单位的IO数据,将该IO数据转化为以块为单位的IO数据,判断转化后的IO数据是否在缓存中命中,如果没有则对转化后的IO数据进行顺序预测,以得到多个存储块,将转化后的IO数据存储在内存的IO队列中,并判断该IO队列是否已满,如果是则将内存的IO队列中的所有IO数据输入训练好的Seq2Seq模型中,以得到预测的IO数据,并根据该预测的IO数据获取对应的多个存储块。本发明根据利用深度学习的方法挖掘IO的相关性,并利用基于LSTM的Seq2Seq模型完成IO序列的预测,最后将IO序列预测与顺序预测相结合,从而完成缓存的预取,提升缓存的命中率。
-
公开(公告)号:CN110191194A
公开(公告)日:2019-08-30
申请号:CN201910508982.8
申请日:2019-06-13
Applicant: 华中科技大学
IPC: H04L29/08 , G06F16/182
Abstract: 本发明公开了一种基于RDMA网络的分布式文件系统数据传输方法,包括:客户端在接收到来自用户的文件访问请求时,向服务端发起RDMA连接请求,服务端在获取到来自客户端的RDMA连接请求后,建立与客户端的RDMA连接,客户端根据文件访问请求生成网络数据访问请求,并利用RDMA连接将该网络数据访问请求发送到服务端,服务端对网络数据访问请求进行解析,以获取其中的地址信息,并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址,服务端将服务端返回地址、以及RDMA远程访问权限信息发送到客户端。本发明能够解决现有分布式文件系统存在的数据传输过程中内存操作的开销较大的技术问题,以及服务端的负载较大、传输时延较长的技术问题。
-
公开(公告)号:CN107247675B
公开(公告)日:2019-08-20
申请号:CN201710397520.4
申请日:2017-05-31
Applicant: 华中科技大学
IPC: G06F12/0866 , G06F12/123
Abstract: 本发明公开了一种基于分类预测的缓存选择策略。该策略利用朴素贝叶斯分类思想将对象分为两类:“只访问一次”和“访问大于一次”。避免将“只访问一次”的对象放入缓存,并且基于朴素贝叶斯的分类时空开销较小。在缓存过程中,通过历史信息表对预测不准的图片进行弥补,降低误判概率。此外,根据缓存实时情况动态调整“只访问一次”的预测权重,使更有效地利用缓存。本发明用于缓存替换算法之前的预判断,可以结合任何一种缓存替换算法。在不改变缓存算法复杂度的同时提升缓存命中率,减少SSD写入并延长SSD寿命。同时,将机器学习的思想引入缓存也给缓存算法研究提供了一种新的考虑思路。
-
公开(公告)号:CN107515931A
公开(公告)日:2017-12-26
申请号:CN201710747552.2
申请日:2017-08-28
Applicant: 华中科技大学
CPC classification number: G06F16/2228 , G06F16/215 , G06K9/6215 , G06K9/6218
Abstract: 本发明公开了一种基于聚类的重复数据检测方法,其主要针对数据相似性较强的数据集类型,通过利用数据集中的数据相似性原理,提高重复数据检测的性能,同时提升数据去重的性能。具体而言,对于数据集中可能的重复数据,本发明利用相似性合并策略,先对检测指纹列表进行分段,每段选出代表性指纹,根据其代表性指纹将不同段分类并合并到不同的指纹容器中。指纹容器从数据集的相似段中收集重复的指纹,以增加数据去重的效率,同时提升去重的性能。指纹容器存储在磁盘上,它可以作为一个整体被写入和读出磁盘,这提高了指纹检索效率并克服了相似段的分段存储的问题。
-
公开(公告)号:CN107291875A
公开(公告)日:2017-10-24
申请号:CN201710461529.7
申请日:2017-06-19
Applicant: 华中科技大学
IPC: G06F17/30
Abstract: 本发明公开了一种基于元数据图的元数据组织管理方法和系统,其中方法的实现包括:存储文件得到文件元数据,提取文件的语义信息,利用语义信息构建语义元数据;利用文件元数据和语义元数据在语义上的联系,构建元数据图;利用元数据图,进行元数据组织管理,提供智能化服务。本发明构建元数据图,利用元数据图丰富的文件元数据和语义信息进行元数据组织管理,提供智能化服务。本发明利用元数据图进行元数据组织管理效率高、功能丰富、扩展性强、智能化程度高、可以进行数据的挖掘与分析、实现智能化服务。
-
-
-
-
-
-
-
-
-