-
公开(公告)号:CN110046160A
公开(公告)日:2019-07-23
申请号:CN201910195853.8
申请日:2019-03-15
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供的一种基于条带的一致性哈希存储系统构建方法及相应的数据放置机制和节点变化方法,以条带为单位组织数据块,以节点组为单位组织存储节点,将条带放置到节点组上。节点在组织成节点组时,每一个节点组内相同节点的数目不大于条带内检验块个数,从而保证数据块的放置满足纠删码的MDS性质,保证数据存储的可靠性。同时,本发明采用一致性哈希算法,选取差异度最低的节点组进行节点组间的替换,通过一致性哈希算法,只有部分虚节点上数据的放置位置发生变化,通过选取差异度最低的节点组作为替换节点组,只有变化节点位置上的节点不同,其他对应位置上的节点均相同,此时迁移的数据量最小。
-
公开(公告)号:CN106844098A
公开(公告)日:2017-06-13
申请号:CN201611248332.7
申请日:2016-12-29
Applicant: 中国科学院计算技术研究所 , 中国科学院国有资产经营有限责任公司
Abstract: 本发明提出一种基于十字交叉纠删编码的快速数据恢复方法及系统,该方法包括数据写入时,按照LRC编码方式进行计算,将全局编码块两两分组,将每个分组内的全局编码块分成两部分,将全局编码块的后半部分与另一块全局编码块的前半部分异或后,写入当前全局编码块的后半部分中,当第一个全局编码块丢失时,读取数据块的后半部分,获得丢失数据块的未做异或前的两个后半部分,另一块全局编码块的后半部分异或操作前跟后做异或操作得到丢失数据块的前半部分,丢失数据块的异或前数据与另一块全局编码块的前半部分做异或操作得到丢失数据块的后半部分;数据按照条带方式刷回到对应的磁盘中进行存储,当数据写入存储服务器后,进行异步纵向编码计算。
-
公开(公告)号:CN110046160B
公开(公告)日:2021-07-20
申请号:CN201910195853.8
申请日:2019-03-15
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供的一种基于条带的一致性哈希存储系统构建方法及相应的数据放置机制和节点变化方法,以条带为单位组织数据块,以节点组为单位组织存储节点,将条带放置到节点组上。节点在组织成节点组时,每一个节点组内相同节点的数目不大于条带内检验块个数,从而保证数据块的放置满足纠删码的MDS性质,保证数据存储的可靠性。同时,本发明采用一致性哈希算法,选取差异度最低的节点组进行节点组间的替换,通过一致性哈希算法,只有部分虚节点上数据的放置位置发生变化,通过选取差异度最低的节点组作为替换节点组,只有变化节点位置上的节点不同,其他对应位置上的节点均相同,此时迁移的数据量最小。
-
公开(公告)号:CN106844098B
公开(公告)日:2020-04-03
申请号:CN201611248332.7
申请日:2016-12-29
Applicant: 中国科学院计算技术研究所 , 中国科学院国有资产经营有限责任公司
Abstract: 本发明提出一种基于十字交叉纠删编码的快速数据恢复方法及系统,该方法包括数据写入时,按照LRC编码方式进行计算,将全局编码块两两分组,将每个分组内的全局编码块分成两部分,将全局编码块的后半部分与另一块全局编码块的前半部分异或后,写入当前全局编码块的后半部分中,当第一个全局编码块丢失时,读取数据块的后半部分,获得丢失数据块的未做异或前的两个后半部分,另一块全局编码块的后半部分异或操作前跟后做异或操作得到丢失数据块的前半部分,丢失数据块的异或前数据与另一块全局编码块的前半部分做异或操作得到丢失数据块的后半部分;数据按照条带方式刷回到对应的磁盘中进行存储,当数据写入存储服务器后,进行异步纵向编码计算。
-
公开(公告)号:CN106708627B
公开(公告)日:2020-08-07
申请号:CN201611245262.X
申请日:2016-12-29
Applicant: 中国科学院计算技术研究所 , 中国科学院国有资产经营有限责任公司
IPC: G06F9/50 , G06F9/455 , G06F12/0873 , G06F12/1027
Abstract: 本发明提出一种基于kvm的多虚拟机映射、多通路的fuse加速方法及系统,该方法包括步骤1,对现有FUSE内核模块的数据路径添加延迟写功能,其中延迟写功能包括数据在经过内核时,通过VFS层,在FUSE内核模块进行聚合,直接返回到系统调用,仅当聚合数据满足一定大小,或一定时间不再追加时,再通过“/dev/fuse”设备传输到用户态客户端进行数据落盘操作;步骤2,对FUSE内核模块进行多挂载点挂载。通过剥离FUSE模块功能及多虚机映射机制将多虚机数据映射到宿主机,将虚拟机客户端处理操作下放到宿主机端,以减少虚拟机的压力,空出更多的资源供虚拟机进行计算处理任务。
-
公开(公告)号:CN106708627A
公开(公告)日:2017-05-24
申请号:CN201611245262.X
申请日:2016-12-29
Applicant: 中国科学院计算技术研究所 , 中国科学院国有资产经营有限责任公司
IPC: G06F9/50 , G06F9/455 , G06F12/0873 , G06F12/1027
CPC classification number: G06F9/5016 , G06F9/45558 , G06F12/0873 , G06F12/1063 , G06F2009/45579 , G06F2009/45583
Abstract: 本发明提出一种基于kvm的多虚拟机映射、多通路的fuse加速方法及系统,该方法包括步骤1,对现有FUSE内核模块的数据路径添加延迟写功能,其中延迟写功能包括数据在经过内核时,通过VFS层,在FUSE内核模块进行聚合,直接返回到系统调用,仅当聚合数据满足一定大小,或一定时间不再追加时,再通过“/dev/fuse”设备传输到用户态客户端进行数据落盘操作;步骤2,对FUSE内核模块进行多挂载点挂载。通过剥离FUSE模块功能及多虚机映射机制将多虚机数据映射到宿主机,将虚拟机客户端处理操作下放到宿主机端,以减少虚拟机的压力,空出更多的资源供虚拟机进行计算处理任务。
-
-
-
-
-