-
公开(公告)号:CN115730210A
公开(公告)日:2023-03-03
申请号:CN202111018067.4
申请日:2021-08-31
Applicant: 华为技术有限公司
IPC: G06F18/214 , G06N3/0464 , G06N3/0442 , G06N3/08
Abstract: 本申请实施例公开了一种数据处理方法,第一装置获取存储空间中第一数据块的第一特征。该第一特征包括与第一数据块自身相关的读/写特征以及与第一数据块相邻的第二数据块的读取特征。第一装置将第一特征输入访问频率预测模型,预测第一数据块的访问频率。其中,第一数据块的访问频率用于确定第一数据块的类型。即,本申请实施例通过第一数据块的多维特征(第一数据块自身的读/写特征和相邻数据块的读取特征),对第一数据块的未来访问频率进行预测,提高预测准确性,还可以根据第一数据块的访问频率确定第一数据块的类型,以对该第一数据块进行相应处理,提高存储系统的使用性能。
-
公开(公告)号:CN115687184A
公开(公告)日:2023-02-03
申请号:CN202110838151.4
申请日:2021-07-23
Applicant: 华为技术有限公司
IPC: G06F12/0871 , G06F9/50
Abstract: 本申请公开了一种资源分配方法及装置,涉及数据存储领域。该方法包括:处理器根据每个缓存对象已分配的页面资源和该缓存对象的读数据命中率输出第一模型,每个缓存对象已分配的页面资源来自存储系统所提供的内存池,第一模型用于指示在满足一定命中率的情况下需要为缓存对象分配的页面资源;处理器根据每个缓存对象所对应的第一模型输出第二模型,第二模型用于指示将要为每个缓存对象分配的目标页面资源;处理器根据第二模型调整为每个缓存对象分配的页面资源。处理器依据第二模型调整缓存对象的页面资源,避免处理器平均分配或淘汰缓存对象的页面资源,提高了内存池中页面资源的利用率和分配合理性,进而降低了业务的处理时延。
-
公开(公告)号:CN114968854A
公开(公告)日:2022-08-30
申请号:CN202110351853.X
申请日:2021-03-31
Applicant: 华为技术有限公司
Abstract: 本申请实施例提供了对存储器的输入带宽进行调整的方法及存储系统。所述存储系统包括处理器和存储器,所述存储器例如为内存。所述处理器用于获取与第一存储器相关的至少两个参数,所述至少两个参数包括第一参数和第二参数。第一参数是指第一存储器的水位线,水位线用于指示所述第一存储器存储的数据的数据量。第二参数用于指示单位时间内所述第一存储器中存储的数据量的变化。在获取所述至少两个参数后,所述处理器根据所述至少两个参数调整所述第一存储器的输入带宽。这样,根据至少两个参数来调整所述第一存储器的输入带宽,可以更加准确地判断是不是需要对第一存储器的输入带宽进行调整以及调整到什么程度,从而降低了第一存储器被写满的概率。
-
公开(公告)号:CN117290298A
公开(公告)日:2023-12-26
申请号:CN202211058557.1
申请日:2022-08-30
Applicant: 华为技术有限公司
IPC: G06F16/13 , G06F16/11 , G06F16/176 , G06F16/16
Abstract: 本申请实施例提供一种数据处理方法及相关装置,应用于存储技术领域。该数据处理方法包括:获取第一文件系统的第一元数据流,该第一元数据流为流式结构且包含多条记录,多条记录中的每条记录包含第一文件系统中的一个节点的标识、一个节点的父节点的标识和一个节点的属性;根据第一元数据流,确定第一文件系统中的多个节点的层次结构。本申请实施例中,统一的流式结构的元数据表达方式,能够拉通异构文件系统之间的元数据,从而使得异构的文件系统中的数据不再是一个个数据孤岛,这会极大地提升用户在数据使用和管理上的便捷性。
-
公开(公告)号:CN115834276A
公开(公告)日:2023-03-21
申请号:CN202111426817.1
申请日:2021-11-27
Applicant: 华为技术有限公司
IPC: H04L12/40 , H04L67/1097
Abstract: 本申请实施例提供一种数据处理系统、数据处理方法及相关装置,应用于存储技术领域。本申请实施例中的虚拟总线系统包含存储层、虚拟总线和服务层,其中,存储层包括多个存储设备,服务层包含多个服务;存储设备和/或服务经过注册可以将注册信息写入虚拟总线中,而经过注册的存储设备或服务可以发现其他设备或服务;存储设备与存储设备之间、存储设备与服务之间、服务与服务之间可以经过虚拟总线进行数据流动,实现多方设备能够在不直接互联的情况下彼此发现和交流。本申请还提供了数据处理方法即相关的装置。通过本申请实施例,能够实现设备之间的流动,满足用户对数据流动的需求。
-
公开(公告)号:CN115268763A
公开(公告)日:2022-11-01
申请号:CN202110481871.X
申请日:2021-04-30
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本申请提供一种缓存管理方法、装置及设备。在本申请中,存储设备接收用户发送的用于请求访问第一数据的读数据请求之后,根据该读数据请求确定待预取的一个或多个第二数据,这里的预取可以是指将数据从二级存储单元移至一级存储单元,该一个或多个第二数据包括第三数据,判断该第三数据的关联数据是否在一级存储单元中,如果在,则不触发对该第三数据的预取操作;或者如果不在,触发该第三数据的预取操作。这是因为,既然关联数据已经保存在一级存储单元中了,后续收到针对第三数据的读数据请求,也可以根据其关联数据获取第三数据,因此尽量减少了在一级存储单元中存储可能不会产生收益的数据,减少调度资源开销的同时,提高了存储资源利用率。
-
公开(公告)号:CN107533435A
公开(公告)日:2018-01-02
申请号:CN201580056639.4
申请日:2015-12-21
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 一种存储空间的分配方法及存储设备,涉及存储领域,用以根据每次写入存储设备的数据量的大小以不同的分配粒度进行存储空间分配。所述方法包括:存储设备接收数据写请求,所述数据写请求包括待写入数据(S101);根据所述待写入数据的大小以及为存储空间预先设定的N个分配粒度,从所述N个不同分配粒度中为所述数据写请求选择一个分配存储空间的分配粒度(S102);并以所述选择的分配粒度为所述数据写请求分配存储空间(S103),所述分配粒度作为分配所述存储空间的单位,且每个分配粒度具有可分配存储空间。
-
公开(公告)号:CN115129230A
公开(公告)日:2022-09-30
申请号:CN202110326240.0
申请日:2021-03-26
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本申请提供一种缓存管理方法及存储设备,该存储设备包括至少两级存储器,该至少两级存储器包括一级存储器和二级存储器,其中,一级存储器处理数据的速度高于二级存储器,一级存储器至少包括第一存储区域和第二存储区域,第一存储区域中存储的数据的热度值均处于第一热度值区间内,第二存储区域中存储的数据的热度值均存处于第二热度值区间内,一级存储器中的数据以一个存储区域为粒度被换出,上述方式,可以将热度值相同或相近的数据存储至同一存储区域中,减少被换出的数据存在冷热混杂的情况,能够提高命中率,同时以存储区域为粒度进行缓存管理可以降低管理开销。
-
公开(公告)号:CN116974954A
公开(公告)日:2023-10-31
申请号:CN202210415854.0
申请日:2022-04-20
Applicant: 华为技术有限公司
IPC: G06F12/0877 , G06N3/0464 , G06N3/084 , G06N3/06
Abstract: 本申请实施例公开了一种缓存缺失率曲线的预测方法以及装置,用于提升缓存缺失率曲线的预测准确性。本申请实施例方法包括:获取第一数据流的第一数据特征,将第一特征向量输入预测模型,得到第一缺失率曲线,预测模型包括机器学习模型;其中,第一缺失率曲线被用于确定第二数据流的缓存空间,第一数据流和第二数据流分别包括在两个不同的时段中应用程序的访问数据,第一特征向量通过对第一数据特征执行归一化操作后得到。
-
公开(公告)号:CN114911806A
公开(公告)日:2022-08-16
申请号:CN202110185125.6
申请日:2021-02-10
IPC: G06F16/23 , G06F16/22 , G06F16/2453 , G06F16/28
Abstract: 本申请提供一种更新数据的方法和相关装置,该方法包括:在需要对键值中的二级键更新的情况下,确定目标捷径,其中该目标捷径用于指示初始存储地址到最新存储地址的映射关系。在键值修改过程中,没有被修改过的二级键的键值对中的存储地址仍为初始存储地址。这样,在利用没有被修改过的二级键作为关键词查找数据时,可以直接利用该目标捷径确定修改后的键值的最新地址,从而找到对应的数据。因此,上述技术方案可以加快数据查找速度,提升用户体验。
-
-
-
-
-
-
-
-
-