-
公开(公告)号:CN111737168B
公开(公告)日:2024-09-20
申请号:CN202010585684.1
申请日:2020-06-24
Applicant: 华中科技大学 , 腾讯科技(深圳)有限公司
IPC: G06F12/0871
Abstract: 本申请实施例公开了一种缓存系统、缓存处理方法、装置、设备及介质,其中方法包括:依照当前时刻检测到的I/O请求,确定当前时刻各存储节点的缓存命中率曲线,在满足缓存处理条件时,基于最新时刻各存储节点的缓存命中率曲线确定目标缓存配置方案,并依照目标缓存配置方案指示的各存储节点的待配缓存空间大小,调整各存储节点对应缓存实例的缓存空间大小。本申请实施例,可依照I/O请求实时分析出各存储节点的缓存命中率曲线,并基于各存储节点的缓存命中率曲线搜索出最佳缓存配置方案,动态调整各缓存实例的缓存空间,有利于实现缓存空间的按需分配,有效提高缓存利用率。
-
公开(公告)号:CN118586400A
公开(公告)日:2024-09-03
申请号:CN202410726329.X
申请日:2024-06-06
Applicant: 华中科技大学
IPC: G06F40/30 , G06F18/214 , G06F18/21 , G06N3/0442 , G06N3/0455 , G06N3/084
Abstract: 本发明公开了一种语义驱动的时间序列预测模型,包括语义信息编码层、嵌入层编码模块、第一变量选择网络、k个第二变量选择网络、τ个第三变量选择网络、静态协编码器模块、LSTM编码模块、LSTM解码模块、k+τ个门控残差网络、多头注意力层、以及输出层(其为全连接层),语义信息编码层的输入是使用词袋技术和TF‑IDF技术对文本特征进行处理后得到的维度为bs×1×c的文本特征矩阵,其对该文本特征矩阵进行维度变换处理,输出维度为bs×1×h的语义特征矩阵。其中bs为离线训练过程中预先设置的批量数据大小。本发明能够解决现有时间序列预测模型由于缺乏语义信息处理能力和缺乏输入多样性考虑导致的准确性低和泛化性不佳的技术问题,以及缺乏特征可解释性能力的问题。
-
公开(公告)号:CN115130032B
公开(公告)日:2024-07-09
申请号:CN202210789994.4
申请日:2022-07-05
Applicant: 华中科技大学
IPC: G06F16/957 , G06F16/958
Abstract: 本发明公开了一种异构粒度存储系统中的缺失率曲线构建方法,包括:接收访问请求序列,并设置计数器i=1,判断i是否等于访问请求序列中的访问请求总数,如果不等于则将访问请求序列中的第i条访问请求载入缓存过滤器中,并判断该第i条访问请求对应的访问对象是否在缓存过滤器中命中,如果没有则根据第i条访问请求对应的访问对象的大小获取该访问对象的采样率,根据得到的第i条访问请求对应的访问对象的采样率对该访问对象进行采样,并计算该访问对象的重用距离,设置计数器i=i+1。本发明能够解决现有异构粒度存储系统中由于内容流行度差异以及对象大小差异,从而导致的字节缺失率曲线与对象缺失率曲线构建不准确的技术问题。
-
公开(公告)号:CN116962204A
公开(公告)日:2023-10-27
申请号:CN202310916502.8
申请日:2023-07-24
Applicant: 华中科技大学
IPC: H04L41/14 , G06N20/20 , H04L41/16 , H04L41/147 , H04L67/1097
Abstract: 本发明公开了一种基于机器学习降低内容分发网络租户尾延时的方法,包括以下步骤:接收来自请求端的多个租户负载请求所组成的租户负载请求序列{R1,R2,…,Rk},先后对所有租户负载请求进行向量化处理和归一化处理,以获取所有租户负载请求对应的多个特征向量,将所有租户负载请求对应的多个特征向量输入到预先训练好的机器学习模型中,以获取所有租户负载请求对应的多个预测结果,根据所有租户负载请求对应的多个预测结果获取每个租户负载请求对应的租户缓存分区的尾延时敏感度。本发明能够解决CDN云厂商现有缓存空间静态分配方法在租户访问模式发生改变后造成租户缓存分区缓存资源低配或超配的技术问题。
-
公开(公告)号:CN111104066B
公开(公告)日:2021-07-27
申请号:CN201911304631.1
申请日:2019-12-17
Applicant: 华中科技大学 , 腾讯科技(深圳)有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据写入方法、装置及一种存储服务器和计算机可读存储介质,该方法包括:当接收到写入请求时,将所述写入请求对应的写入数据写入写缓冲区中;当触发所述写缓冲区的数据下刷操作时,获取所述待下刷数据对应的数据块的历史访问数据;基于所述历史访问数据判断待下刷数据是否为只写数据;若是,则将所述待下刷数据写入硬盘驱动器中;若否,则将所述待下刷数据写入缓存中。本申请提供的数据写入方法,可以有效减少写入缓存的无用流量,同时在缓存中为普通数据留出更多空间,提高缓存空间利用率,从而提高缓存的读取命中率,提升存储系统的读性能,实现了对缓存的最低写入流量,提高了写策略的效率。
-
公开(公告)号:CN110245094B
公开(公告)日:2020-12-29
申请号:CN201910526384.3
申请日:2019-06-18
Applicant: 华中科技大学
IPC: G06F12/0862
Abstract: 本发明公开了一种基于深度学习的块级缓存预取优化方法,包括:从测试数据集获取以字节为单位的IO数据,将该IO数据转化为以块为单位的IO数据,判断转化后的IO数据是否在缓存中命中,如果没有则对转化后的IO数据进行顺序预测,以得到多个存储块,将转化后的IO数据存储在内存的IO队列中,并判断该IO队列是否已满,如果是则将内存的IO队列中的所有IO数据输入训练好的Seq2Seq模型中,以得到预测的IO数据,并根据该预测的IO数据获取对应的多个存储块。本发明根据利用深度学习的方法挖掘IO的相关性,并利用基于LSTM的Seq2Seq模型完成IO序列的预测,最后将IO序列预测与顺序预测相结合,从而完成缓存的预取,提升缓存的命中率。
-
公开(公告)号:CN109189696B
公开(公告)日:2020-11-24
申请号:CN201810911523.X
申请日:2018-08-12
Applicant: 华中科技大学 , 深圳市腾讯计算机系统有限公司
IPC: G06F12/0866 , G06K9/62
Abstract: 本发明公开了一种SSD缓存系统及缓存方法,其中系统包括:SSD缓存、存储装置、日志记录装置以及分类装置;分类装置包括:预测模块和历史表模块;预测模块用于利用目标分类器预测目标照片的类别;历史表模块用于存储最近被判定为一次访问文件的照片的元数据信息;分类装置用于在预测模块预测目标照片为一次访问文件,且目标照片的元数据信息未被存储或者目标照片的元数据信息被存储而当前请求与该元数据信息所对应的最近的请求之间的访问间隔大于访问间隔阈值时,将目标照片标记为一次访问文件;否则,将目标照片标记为非一次访问文件。本发明能够有效减小缓存写入,提高SSD缓存的使用寿命并改善SSD缓存的性能。
-
公开(公告)号:CN110191194B
公开(公告)日:2020-07-03
申请号:CN201910508982.8
申请日:2019-06-13
Applicant: 华中科技大学
IPC: H04L29/08 , G06F16/182
Abstract: 本发明公开了一种基于RDMA网络的分布式文件系统数据传输方法,包括:客户端在接收到来自用户的文件访问请求时,向服务端发起RDMA连接请求,服务端在获取到来自客户端的RDMA连接请求后,建立与客户端的RDMA连接,客户端根据文件访问请求生成网络数据访问请求,并利用RDMA连接将该网络数据访问请求发送到服务端,服务端对网络数据访问请求进行解析,以获取其中的地址信息,并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址,服务端将服务端返回地址、以及RDMA远程访问权限信息发送到客户端。本发明能够解决现有分布式文件系统存在的数据传输过程中内存操作的开销较大的技术问题,以及服务端的负载较大、传输时延较长的技术问题。
-
公开(公告)号:CN110245095A
公开(公告)日:2019-09-17
申请号:CN201910534260.X
申请日:2019-06-20
Applicant: 华中科技大学
IPC: G06F12/0866 , G06F3/06
Abstract: 本发明公开了一种基于数据块图谱的固态盘缓存优化方法,属于计算机数据存储系统中缓存系统技术领域,本发明所述固态盘缓存优化方法包括数据处理模块,数据块图谱构建模块,数据块关联强度分析模块,数据块重要度分析模块和数据块缓存准入模块。本发明针对传统的缓存算法对访问概率低或者周期性的备份数据仍然进入缓存并替换的问题,首次将图谱应用到缓存领域,提出了基于数据块图谱分析的缓存优化方法。该方法具有较高的缓存空间利用率,可以保证在不降低缓存命中率的情况下,大大减少固态盘的写流量,能够解决传统缓存算法造成的不必要固态盘的写入问题。
-
公开(公告)号:CN110209343A
公开(公告)日:2019-09-06
申请号:CN201810814260.0
申请日:2018-07-23
Applicant: 腾讯科技(深圳)有限公司 , 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种数据存储方法、装置、服务器及存储介质,属于互联网技术领域。所述方法包括:当接收到对第一数据的写入请求时,查询第二数据的存储位置;当查询到第二数据存储在第一缓存单元时,将第一数据存储到第二缓存单元中;返回对第一数据的写入结果。本发明基于第一缓存单元和第二缓存单元对数据进行存储,相比于单独采用第二缓存单元的数据存储方式,节省了成本,对于已存储在第一缓存单元中的数据,当再次对该数据进行存储时,将该数据存储到第二缓存单元,不仅提高了数据读写速度,而且减少了对第一缓存单元的数据写入次数,避免了第一缓存单元损坏,提高了数据安全性,该种方式兼顾了成本、数据读写速度及安全性等方面的需求。
-
-
-
-
-
-
-
-
-