-
公开(公告)号:CN111104063A
公开(公告)日:2020-05-05
申请号:CN201911243219.3
申请日:2019-12-06
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请公开了一种数据存储方法、装置及一种电子设备和计算机可读存储介质,该方法包括:当接收到第一目标对象的写入请求时,确定第一目标对象对应的第一目标聚合文件,在第一目标聚合文件中确定第一目标对象的第一对象偏移;确定写入请求在目标对应中的写请求偏移和写请求长度,基于第一对象偏移和写请求偏移确定写入请求对应的起始位置;基于起始位置和写请求长度将写入请求对应的写入数据写入第一目标聚合文件中,并更新第一目标对象的元数据。本申请提供的数据存储方法,通过聚合文件的空间管理模块实现对数据空间的分配和释放,减少文件系统层对小文件的频繁操作,从而提升性能。
-
公开(公告)号:CN111078593B
公开(公告)日:2022-08-19
申请号:CN201911386500.2
申请日:2019-12-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F12/123
Abstract: 本申请提供一种对象元数据的访问方法,包括:接收到对象访问请求时,判断对应的目标元数据是否在第一LRU队列中;若是,则从第一LRU队列中返回目标元数据;若否,判断对象访问请求是否包含裁剪信息;若是,从数据库中读取目标元数据的裁剪信息,并与第二LRU队列中目标元数据的状态信息整合成目标元数据后返回;若否,从第二LRU队列中返回目标元数据。本申请通过采用两级LRU队列,在第二LRU队列中仅保留对象元数据的状态信息,将对象元数据中占用内存较大的裁剪信息存入数据库中,极大的减少对象元数据对内存的占用。本申请还提供一种对象元数据的访问系统、计算机可读存储介质和服务器,具有上述有益效果。
-
公开(公告)号:CN111078593A
公开(公告)日:2020-04-28
申请号:CN201911386500.2
申请日:2019-12-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F12/123
Abstract: 本申请提供一种对象元数据的访问方法,包括:接收到对象访问请求时,判断对应的目标元数据是否在第一LRU队列中;若是,则从第一LRU队列中返回目标元数据;若否,判断对象访问请求是否包含裁剪信息;若是,从数据库中读取目标元数据的裁剪信息,并与第二LRU队列中目标元数据的状态信息整合成目标元数据后返回;若否,从第二LRU队列中返回目标元数据。本申请通过采用两级LRU队列,在第二LRU队列中仅保留对象元数据的状态信息,将对象元数据中占用内存较大的裁剪信息存入数据库中,极大的减少对象元数据对内存的占用。本申请还提供一种对象元数据的访问系统、计算机可读存储介质和服务器,具有上述有益效果。
-
公开(公告)号:CN109388550A
公开(公告)日:2019-02-26
申请号:CN201811325736.0
申请日:2018-11-08
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种缓存命中率确定方法,该方法包括:接收读请求,确定读请求对应的目标存储引擎,并更新目标存储引擎的读请求次数;若读请求命中目标存储引擎的SSD缓存,则更新目标存储引擎的读命中次数;周期性地将读请求次数和读命中次数写入统计列表;在接收到目标存储引擎的近期命中率计算请求时,读取统计列表中记录的读请求次数和读命中次数,计算目标存储引擎的近期命中率。可计算出目标存储引擎的近期命中率。计算出的近期命中率有利于分析近期目标存储引擎的最近一段时间的存储状态,以提高分布式存储系统的存储系统。本发明还公开了一种缓存命中率确定装置、设备及可读存储介质,具有相应的技术效果。
-
公开(公告)号:CN109388550B
公开(公告)日:2022-03-22
申请号:CN201811325736.0
申请日:2018-11-08
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种缓存命中率确定方法,该方法包括:接收读请求,确定读请求对应的目标存储引擎,并更新目标存储引擎的读请求次数;若读请求命中目标存储引擎的SSD缓存,则更新目标存储引擎的读命中次数;周期性地将读请求次数和读命中次数写入统计列表;在接收到目标存储引擎的近期命中率计算请求时,读取统计列表中记录的读请求次数和读命中次数,计算目标存储引擎的近期命中率。可计算出目标存储引擎的近期命中率。计算出的近期命中率有利于分析近期目标存储引擎的最近一段时间的存储状态,以提高分布式存储系统的存储系统。本发明还公开了一种缓存命中率确定装置、设备及可读存储介质,具有相应的技术效果。
-
公开(公告)号:CN111176885A
公开(公告)日:2020-05-19
申请号:CN201911411044.2
申请日:2019-12-31
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请公开了一种分布式存储系统的数据校验方法及相关装置,包括从硬盘读取目标数据,并计算所述目标数据中每预设校验区间长度的数据的CRC校验值,得到第一CRC校验值;从数据库中读取写所述目标数据时,计算所述目标数据中每预设校验区间长度的数据的CRC校验值所得到的第二CRC校验值;分别将各所述第一CRC校验值与相应的所述第二CRC校验值进行比对;若所述第一CRC校验值与相应的所述第二CRC校验值不一致,则确定所述硬盘中的所述目标数据发生错误。该数据校验方法能够精确识别数据异常的位置,并能够保障数据校验的有效进行。
-
公开(公告)号:CN109376100A
公开(公告)日:2019-02-22
申请号:CN201811307850.0
申请日:2018-11-05
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F12/123 , G06F3/06
Abstract: 本发明公开了一种缓存写入方法,该方法包括以下步骤:按照LRU表中的文件索引排列顺序,从SSD中读取缓存的目标条带文件;判断目标条带文件的文件片段数量是否大于预设阈值;如果是,则对目标条带文件进行聚合,获得一个聚合数据块;将聚合数据块通过一个IO一次性写入HDD中,并将目标条带文件从SSD中删除。相较于目前对每一个文件片段均通过一次IO写入HDD的方式,本发明实施例所提供的方法,可充分利用SSD的快速读写性能,可提高存储系统的写性能,改善用户体验。本发明还公开了一种缓存写入装置、设备及可读存储介质,具有相应的技术效果。
-
-
-
-
-
-