一种纠删码存储中负载感知的读优化方法

    公开(公告)号:CN103176865A

    公开(公告)日:2013-06-26

    申请号:CN201310077285.4

    申请日:2013-03-12

    Abstract: 本发明公开了一种纠删码存储中负载感知的读优化方法,包括:初始化纠删码存储集群中所有节点的节点负载权重值为零,从用户接收应用访问请求,从纠删码存储集群的数据节点中任选一个数据节点,判断该数据节点是否在应用访问请求操作对应的节点号内,如果是则判断该数据节点的节点负载权重值是否大于或等于预定的阈值,若是则将纠删码存储集群中所有节点的节点负载权重值按照从小到大的顺序进行排列,读取前K个节点对应的偏移地址的分块数据,并获取读取该分块数据各自所花费的时间,并利用RS解码算法对分块数据进行解码操作。本方法能够解决传统方法在各节点负载相差很大时存在的应用访问请求的响应时间长、纠删码存储集群的可靠性低的问题。

    一种基于I/O流水线的失效节点数据重构优化方法

    公开(公告)号:CN103955343B

    公开(公告)日:2016-08-24

    申请号:CN201410154239.4

    申请日:2014-04-16

    Abstract: 本发明公开了一种基于I/O流水线的失效节点数据重构优化方法,包括:从纠删码存储集群中的存活节点中任选k个节点N1,N2,…,Nk,并初始化计数器i=0,j=1,节点Nj读取其自身的分块Blocki,j,并将其发送到Nj+1,并设置j=j+1,节点Nj读取其自身的分块Blocki,j,并与接收自节点Nj?1的分块Blocki,j?1进行线性组合计算,以得到结果分块Blocki,j’,并将结果分块Blocki,j’发送到节点Nj+1,设置j=j+1,并判断j是否等于k,如果等于则Nj读取分块Blocki,j与接收自Nj?1的分块Blocki,j?1’进行线性组合计算。本发明能显著地加快失效节点数据重构过程的速度。

    一种基于写重定向的纠删码存储重构优化方法

    公开(公告)号:CN103605582A

    公开(公告)日:2014-02-26

    申请号:CN201310616406.8

    申请日:2013-11-27

    Abstract: 本发明公开了一种基于写重定向的纠删码存储重构优化方法,将写入失效数据节点的数据重定向到由存活节点空余空间所组成的RS阵列,将数据重定向过程与包括失效数据节点的重构、重定向数据的迁移以及迁移所引起的校验数据更新的数据迁移过程分开处理,降低二者对磁盘、内存、网络带宽等资源的竞争,在加速后台重构过程的同时,优化前台用户访问性能。

    一种纠删码存储中负载感知的读优化方法

    公开(公告)号:CN103176865B

    公开(公告)日:2015-05-20

    申请号:CN201310077285.4

    申请日:2013-03-12

    Abstract: 本发明公开了一种纠删码存储中负载感知的读优化方法,包括:初始化纠删码存储集群中所有节点的节点负载权重值为零,从用户接收应用访问请求,从纠删码存储集群的数据节点中任选一个数据节点,判断该数据节点是否在应用访问请求操作对应的节点号内,如果是则判断该数据节点的节点负载权重值是否大于或等于预定的阈值,若是则将纠删码存储集群中所有节点的节点负载权重值按照从小到大的顺序进行排列,读取前K个节点对应的偏移地址的分块数据,并获取读取该分块数据各自所花费的时间,并利用RS解码算法对分块数据进行解码操作。本方法能够解决传统方法在各节点负载相差很大时存在的应用访问请求的响应时间长、纠删码存储集群的可靠性低的问题。

    一种基于纠删码缓存的重构优化方法

    公开(公告)号:CN103914402A

    公开(公告)日:2014-07-09

    申请号:CN201410154741.5

    申请日:2014-04-17

    Abstract: 本发明公开了一种基于纠删码缓存的重构优化方法,包括:失效数据缓存过程,包括:接收客户端写失效数据节点的客户端请求记录,将客户端请求记录写入由集群中存活节点预分配内存构成的纠删码缓存区中的数据区,根据纠删码缓存区中数据区的原有数据和新写入的客户端请求记录,更新纠删码缓存区中的校验区,向客户端返回写失效数据节点完成;以及缓存数据迁移过程,包括:读取纠删码缓存区中的一条客户端请求记录,从失效节点对应的替换节点中数据偏移地址为offset的位置读取数据,将客户端请求记录对应的新数据newdata写入替换节点中写数据偏移地址为offset的位置。本发明能够提高失效数据节点的重构性能,并能降低客户端失效写的响应时间。

    一种针对RS编码存储集群的存储扩容方法

    公开(公告)号:CN104407807A

    公开(公告)日:2015-03-11

    申请号:CN201410579759.X

    申请日:2014-10-24

    CPC classification number: G06F3/0629 G06F3/064 G06F3/0647

    Abstract: 本发明公开了一种针对RS码存储集群的高效存储扩容方法,涉及数据重新分布和校验更新两个过程。具体包括:增加Δk个数据节点,并按照转置式数据布局重新分布旧数据,其中原始数据分块只在旧数据节点和新数据节点之间迁移,新数据分块直接填充到迁移后所空出区域;完成数据重新分布时,需要进行相应校验分块的更新操作。上述数据重新分布支持多次扩容并保持数据分布的均匀性。由于数据重新分布采用转置式数据布局,校验分块更新时,旧数据节点可直接计算校验差异分块ΔP,校验节点利用此校验差异分块ΔP完成校验分块的更新,从而减少校验更新开销。本发明中存储扩容方法不仅能提高存储效率,而且能完成高效扩容。

    一种基于I/O流水线的失效节点数据重构优化方法

    公开(公告)号:CN103955343A

    公开(公告)日:2014-07-30

    申请号:CN201410154239.4

    申请日:2014-04-16

    Abstract: 本发明公开了一种基于I/O流水线的失效节点数据重构优化方法,包括:从纠删码存储集群中的存活节点中任选k个节点N1,N2,…,Nk,并初始化计数器i=0,j=1,节点Nj读取其自身的分块Blocki,j,并将其发送到Nj+1,并设置j=j+1,节点Nj读取其自身的分块Blocki,j,并与接收自节点Nj-1的分块Blocki,j-1进行线性组合计算,以得到结果分块Blocki,j’,并将结果分块Blocki,j’发送到节点Nj+1,设置j=j+1,并判断j是否等于k,如果等于则Nj读取分块Blocki,j与接收自Nj-1的分块Blocki,j-1’进行线性组合计算。本发明能显著地加快失效节点数据重构过程的速度。

    一种针对RS编码存储集群的存储扩容方法

    公开(公告)号:CN104407807B

    公开(公告)日:2017-06-27

    申请号:CN201410579759.X

    申请日:2014-10-24

    Abstract: 本发明公开了一种针对RS码存储集群的高效存储扩容方法,涉及数据重新分布和校验更新两个过程。具体包括:增加Δk个数据节点,并按照转置式数据布局重新分布旧数据,其中原始数据分块只在旧数据节点和新数据节点之间迁移,新数据分块直接填充到迁移后所空出区域;完成数据重新分布时,需要进行相应校验分块的更新操作。上述数据重新分布支持多次扩容并保持数据分布的均匀性。由于数据重新分布采用转置式数据布局,校验分块更新时,旧数据节点可直接计算校验差异分块ΔP,校验节点利用此校验差异分块ΔP完成校验分块的更新,从而减少校验更新开销。本发明中存储扩容方法不仅能提高存储效率,而且能完成高效扩容。

    一种基于写重定向的纠删码存储重构优化方法

    公开(公告)号:CN103605582B

    公开(公告)日:2017-01-25

    申请号:CN201310616406.8

    申请日:2013-11-27

    Abstract: 本发明公开了一种基于写重定向的纠删码存储重构优化方法,将写入失效数据节点的数据重定向到由存活节点空余空间所组成的RS阵列,将数据重定向过程与包括失效数据节点的重构、重定向数据的迁移以及迁移所引起的校验数据更新的数据迁移过程分开处理,降低二者对磁盘、内存、网络带宽等资源的竞争,在加速后台重构过程的同时,优化前台用户访问性能。

    一种基于纠删码缓存的重构优化方法

    公开(公告)号:CN103914402B

    公开(公告)日:2016-08-31

    申请号:CN201410154741.5

    申请日:2014-04-17

    Abstract: 本发明公开了一种基于纠删码缓存的重构优化方法,包括:失效数据缓存过程,包括:接收客户端写失效数据节点的客户端请求记录,将客户端请求记录写入由集群中存活节点预分配内存构成的纠删码缓存区中的数据区,根据纠删码缓存区中数据区的原有数据和新写入的客户端请求记录,更新纠删码缓存区中的校验区,向客户端返回写失效数据节点完成;以及缓存数据迁移过程,包括:读取纠删码缓存区中的一条客户端请求记录,从失效节点对应的替换节点中数据偏移地址为offset的位置读取数据,将客户端请求记录对应的新数据newdata写入替换节点中写数据偏移地址为offset的位置。本发明能够提高失效数据节点的重构性能,并能降低客户端失效写的响应时间。

Patent Agency Ranking