-
公开(公告)号:CN104731526B
公开(公告)日:2017-11-03
申请号:CN201510115467.5
申请日:2015-03-17
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种不满条带写的方法及装置,其中所述条带由镜像条带、纠删码条带和空条带这三个逻辑条带组成,所述方法包括:将数据写入镜像条带,以及修改所述条带对应的位图中的镜像位图指示位和镜像位图;其中,镜像位图指示位用于指示镜像位图中存放的是镜像条带数据信息还是指向镜像条带数据信息的地址,镜像条带数据信息用于指示镜像条带上的哪些位置有数据。本发明使不满条带写请求可以被高效地处理,并且降低了元数据的开销。
-
公开(公告)号:CN106293543A
公开(公告)日:2017-01-04
申请号:CN201610726634.4
申请日:2016-08-25
Applicant: 中国科学院计算技术研究所
IPC: G06F3/06
CPC classification number: G06F3/061 , G06F3/064 , G06F3/0689
Abstract: 本发明提出一种基于捎带回收的瓦记录RAID写顺序化方法及装置,计算机存储领域,该装置包括结构管理模块,用于将带通过循环日志的结构进行管理;高速持久缓存模块,用于接收所有非顺序写请求,当高速持久缓存被写到水位时触发下刷,其中将带划分为数据带与校验带,下刷以组为单位进行,组之间的写入未产生写覆盖,组内非整条带的写过程触发小写过程,同时在小写读时做捎带回收操作。本发明中当所有小写读都完成后再开始小写写,在带内小写读的过程中捎带做回收读,在小写写过程中将回收读出的有效数据和要下刷的有效数据合并为大块的顺序写,避免带内小写产生的RMW过程,并提升系统的整体性能。
-
公开(公告)号:CN113127230B
公开(公告)日:2023-10-03
申请号:CN202110399392.3
申请日:2021-04-14
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种用于分布式存储系统存储后端的动态调控资源的方法,其中多个LC与BE租户共享存储后端,每个LC租户有一个请求队列和用于该请求队列的CPU核数Ni,将请求队列以窗口为单位进行划分,Ni为窗口i分配的CPU核数,根据不同的频率将LC租户请求队列的所有当前请求作为临时窗口;获得每个临时窗口的请求数QLt,以及该临时窗口第一个请求的排队时间TWt;基于QLt和TWt确定当前临时窗口所需的CPU核数Nt;根据Nt与所述当前窗口的CPU核数Ni,调整该LC租户的CPU核数。基于本发明的实施例,可以最大化BE租户的带宽,并快速准确的增加CPU资源以避免异常导致目标SLO不被满足情况的发生,在合适的时机对异常进行检测,并重新计算并分配CPU资源。
-
公开(公告)号:CN113127230A
公开(公告)日:2021-07-16
申请号:CN202110399392.3
申请日:2021-04-14
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种用于分布式存储系统存储后端的动态调控资源的方法,其中多个LC与BE租户共享存储后端,每个LC租户有一个请求队列和用于该请求队列的CPU核数Ni,将请求队列以窗口为单位进行划分,Ni为窗口i分配的CPU核数,根据不同的频率将LC租户请求队列的所有当前请求作为临时窗口;获得每个临时窗口的请求数QLt,以及该临时窗口第一个请求的排队时间TWt;基于QLt和TWt确定当前临时窗口所需的CPU核数Nt;根据Nt与所述当前窗口的CPU核数Ni,调整该LC租户的CPU核数。基于本发明的实施例,可以最大化BE租户的带宽,并快速准确的增加CPU资源以避免异常导致目标SLO不被满足情况的发生,在合适的时机对异常进行检测,并重新计算并分配CPU资源。
-
公开(公告)号:CN108376053B
公开(公告)日:2020-02-28
申请号:CN201810065182.9
申请日:2018-01-23
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种支持原地更新的瓦记录写顺序化方法及装置,涉及计算机存储领域,该方法包括瓦记录磁盘中的带划分为随机带、半随机带、顺序带;初始时瓦记录磁盘中的带由随机带与顺序带组成,如果应用以非顺序写为主,则随机带的比例高于顺序带的比例,如果应用以顺序写为主,则顺序带的比例高于随机带的比例,当随机带中的可写磁道被写满时,将写满的随机带转换为半随机带,以增加带内可写入空间;当半随机带中的可写磁道被写满时,将被写满的半随机带转换为顺序带。本发明将瓦记录磁盘的带划分为三种类型,将随机写顺序化,并且支持原地更新,从而避免了瓦记录整带的RMW过程,一定程度上提升了瓦记录磁盘非顺序写性能。
-
公开(公告)号:CN106970764A
公开(公告)日:2017-07-21
申请号:CN201710102277.9
申请日:2017-02-24
Applicant: 中国科学院计算技术研究所
IPC: G06F3/06
CPC classification number: G06F3/0689 , G06F3/061 , G06F3/0638 , G06F3/0656
Abstract: 本发明提出一种基于条带版本的瓦记录RAID写顺序化方法及系统,涉及计算机存储技术领域,该方法包括设置高速持久缓存,用于接收所有非顺序写请求,当所述高速持久缓存被写到水位时触发下刷,其中以组为单位进行下刷,下刷时为要写入组中的各条带生成新版本;对于条带的每一个版本,计算一次校验,并将条带数据与校验顺序的写入带内。本发明避免了传统RAID5/6小写产生的RMW过程和瓦记录磁盘的RMW过程,提升了系统的整体性能。
-
公开(公告)号:CN104281506B
公开(公告)日:2017-02-15
申请号:CN201410328048.5
申请日:2014-07-10
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种文件系统的数据维护方法及系统,本发明涉及分布式文件系统技术领域,该方法包括将源数据中心的源数据备份到副本数据中心,作为该源数据的副本数据;根据该源数据中心的状态,选择由该源数据中心提供读写服务或由该副本数据中心提供该读写服务,若该源数据或该副本数据被修改,则获取对该源数据或该副本数据的修改记录,并生成日志文件;根据该日志文件对该源数据或该副本数据进行更新,以保证该源数据中心与该副本数据中心的数据的一致性。本发明能够有效提高数据中心数据可靠性,存储服务可用性的,为数据提供最终一致性语义。
-
公开(公告)号:CN105824579A
公开(公告)日:2016-08-03
申请号:CN201610153718.3
申请日:2016-03-17
Applicant: 中国科学院计算技术研究所
IPC: G06F3/06
CPC classification number: G06F3/0611 , G06F3/064 , G06F3/0674
Abstract: 本发明公开了一种捎带读写减小瓦记录写放大开销的方法,包括:步骤一,将多个磁道上的非顺序写请求聚集;步骤二,在盘片旋转一周的时间内,将跨带的多个写请求覆盖的数据块读出,将处于不同磁道上的数据块批量写入盘片。该方法可有效减小瓦记录磁盘原地更新时RMW带来的写放大开销。
-
公开(公告)号:CN104731527A
公开(公告)日:2015-06-24
申请号:CN201510115469.4
申请日:2015-03-17
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种三条带状态转换方法,包括:更改三条带状态,其中三条带状态用于指示当前的逻辑条带及其位置关系;以及使纠删码位图指示更改后的纠删码条带位置和镜像条带位置上的哪些数据块构成纠删码条带。本发明降低了数据迁移导致的系统开销,提升了三条带系统的性能。
-
公开(公告)号:CN104281506A
公开(公告)日:2015-01-14
申请号:CN201410328048.5
申请日:2014-07-10
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种文件系统的数据维护方法及系统,本发明涉及分布式文件系统技术领域,该方法包括将源数据中心的源数据备份到副本数据中心,作为该源数据的副本数据;根据该源数据中心的状态,选择由该源数据中心提供读写服务或由该副本数据中心提供该读写服务,若该源数据或该副本数据被修改,则获取对该源数据或该副本数据的修改记录,并生成日志文件;根据该日志文件对该源数据或该副本数据进行更新,以保证该源数据中心与该副本数据中心的数据的一致性。本发明能够有效提高数据中心数据可靠性,存储服务可用性的,为数据提供最终一致性语义。
-
-
-
-
-
-
-
-
-