-
公开(公告)号:CN103577339B
公开(公告)日:2018-01-30
申请号:CN201210264003.7
申请日:2012-07-27
Applicant: 深圳市腾讯计算机系统有限公司
CPC classification number: G06F12/0871 , G06F3/0608 , G06F3/0613 , G06F3/064 , G06F3/0685 , G06F12/0806 , G06F12/0848 , G06F2212/282 , G06F2212/604 , G06F2212/622
Abstract: 本发明属于计算机技术领域,尤其涉及一种数据存储方法及系统。本发明实施例的数据存储方法包括:将磁盘和内存资源划分成小表;将小表的内存空间划分为不同的逻辑对象;将小表的磁盘空间按固定大小划分成多个等大的数据块。本发明实施例的数据存储系统及方法通过划分存储服务器上的磁盘和内存资源为一个个独立的小表,将小表用作业务资源分配和管理的基本单元,可实现单机资源在多个业务上的复用;另外,混合式索引及其关联的合并写,块回收技术在提升系统随机写IOPS的同时能大幅节省了索引的内存空间。
-
公开(公告)号:CN103383690B
公开(公告)日:2016-04-13
申请号:CN201210137501.5
申请日:2012-05-04
Applicant: 深圳市腾讯计算机系统有限公司
IPC: G06F17/30
Abstract: 一种分布式数据存储方法,包括以下步骤:获取数据资源和与所述数据资源对应的数据标识;计算所述数据标识的哈希值;根据所述哈希值计算所述数据资源对应的磁盘页在存储单元中的页号和所述磁盘页中的磁盘块的块号;根据所述磁盘页的页号和磁盘块的块号将所述数据资源存储到对应的所述磁盘页的所述磁盘块中。此外,还提供了一种分布式数据存储系统。上述分布式数据存储方法和系统可以减小内存损耗,提高存储效率。
-
公开(公告)号:CN105516230A
公开(公告)日:2016-04-20
申请号:CN201410545693.2
申请日:2014-10-15
Applicant: 深圳市腾讯计算机系统有限公司
IPC: H04L29/08
Abstract: 本发明公开了一种数据处理方法及装置,其中方法可包括:在接收到对目标数据的业务请求时,读取目标数据的多份副本数据,其中,多份副本数据为分别存储在不同的存储服务器中的副本数据;判断目标数据的多份副本数据是否一致;若不一致,从目标数据的多份副本数据中确定一份正确的副本数据;根据确定的正确的副本数据对目标数据的多份副本数据进行业务处理。采用本发明实施例,可检测到副本数据的不一致,且可确定正确的副本数据,从而根据正确的副本数据进行业务处理,保证了数据的一致性,提高了数据的读写性能。
-
公开(公告)号:CN103927124A
公开(公告)日:2014-07-16
申请号:CN201310014430.4
申请日:2013-01-15
Applicant: 深圳市腾讯计算机系统有限公司
IPC: G06F3/06
CPC classification number: G06F12/14 , G06F3/0616 , G06F3/0659 , G06F3/0676 , G06F17/3033 , G06F2212/1052
Abstract: 本发明公开了一种以Hash方式组织的磁盘访问控制方法,所述方法包括以下步骤:在所述磁盘中构建布隆过滤器;读取存储对象中的记录集合;利用所述布隆过滤器对与所述存储对象相关的访问请求进行过滤;所述磁盘包括至少一个所述存储对象。本发明还公开了一种以Hash方式组织的磁盘访问控制装置。本发明能防止空查询的现象的发生,减少磁盘访问资源的消耗。
-
公开(公告)号:CN104572684A
公开(公告)日:2015-04-29
申请号:CN201310488156.4
申请日:2013-10-17
Applicant: 深圳市腾讯计算机系统有限公司
IPC: G06F17/30
CPC classification number: G06F3/067 , G06F3/0632
Abstract: 本发明公开了一种数据存储系统的容量调整方法、装置及数据存储系统,属于存储技术领域。所述方法包括:接收配置信息,该配置信息包括容量调整比例和源存储单元;根据该容量调整比例和源存储单元,确定目标存储单元;根据该源存储单元的当前数据总量,确定该源存储单元向该目标存储单元的数据转移方式;根据确定的数据转移方式,将该源存储单元上存储的数据转移至该目标存储单元。本发明通过对数据存储系统的容量进行调整,解决了数据存储系统在经过容量调整后资源需求量翻倍,而造成的资源需求量较大的问题。
-
公开(公告)号:CN105516230B
公开(公告)日:2019-06-25
申请号:CN201410545693.2
申请日:2014-10-15
Applicant: 深圳市腾讯计算机系统有限公司
IPC: H04L29/08
Abstract: 本发明公开了一种数据处理方法及装置,其中方法可包括:在接收到对目标数据的业务请求时,读取目标数据的多份副本数据,其中,多份副本数据为分别存储在不同的存储服务器中的副本数据;判断目标数据的多份副本数据是否一致;若不一致,从目标数据的多份副本数据中确定一份正确的副本数据;根据确定的正确的副本数据对目标数据的多份副本数据进行业务处理。采用本发明实施例,可检测到副本数据的不一致,且可确定正确的副本数据,从而根据正确的副本数据进行业务处理,保证了数据的一致性,提高了数据的读写性能。
-
公开(公告)号:CN104572684B
公开(公告)日:2018-12-28
申请号:CN201310488156.4
申请日:2013-10-17
Applicant: 深圳市腾讯计算机系统有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据存储系统的容量调整方法、装置及数据存储系统,属于存储技术领域。所述方法包括:接收配置信息,该配置信息包括容量调整比例和源存储单元;根据该容量调整比例和源存储单元,确定目标存储单元;根据该源存储单元的当前数据总量,确定该源存储单元向该目标存储单元的数据转移方式;根据确定的数据转移方式,将该源存储单元上存储的数据转移至该目标存储单元。本发明通过对数据存储系统的容量进行调整,解决了数据存储系统在经过容量调整后资源需求量翻倍,而造成的资源需求量较大的问题。
-
公开(公告)号:CN103927124B
公开(公告)日:2018-03-13
申请号:CN201310014430.4
申请日:2013-01-15
Applicant: 深圳市腾讯计算机系统有限公司
IPC: G06F3/06
CPC classification number: G06F12/14 , G06F3/0616 , G06F3/0659 , G06F3/0676 , G06F17/3033 , G06F2212/1052
Abstract: 本发明公开了一种以Hash方式组织的磁盘访问控制方法,所述方法包括以下步骤:在所述磁盘中构建布隆过滤器;读取存储对象中的记录集合;利用所述布隆过滤器对与所述存储对象相关的访问请求进行过滤;所述磁盘包括至少一个所述存储对象。本发明还公开了一种以Hash方式组织的磁盘访问控制装置。本发明能防止空查询的现象的发生,减少磁盘访问资源的消耗。
-
公开(公告)号:CN103259824B
公开(公告)日:2016-03-09
申请号:CN201210039131.1
申请日:2012-02-21
Applicant: 深圳市腾讯计算机系统有限公司
IPC: H04L29/08 , H04L12/701
Abstract: 本发明提供了分布式数据存储系统中数据路由的同步方法和装置。其中,该方法包括:按照递增原则为所述分布式数据存储系统中的路由格子分配唯一的版本号,每一路由格子用于记录所述分布式数据存储系统中数据的路由;所述分布式数据存储系统获取客户端的本地路由版本号,依据所述分布式数据存储系统中各个路由格子被分配的版本号、以及客户端的本地路由版本号确定客户端缺少的数据路由,并发送确定的所述客户端缺少的数据路由给客户端。
-
公开(公告)号:CN103577339A
公开(公告)日:2014-02-12
申请号:CN201210264003.7
申请日:2012-07-27
Applicant: 深圳市腾讯计算机系统有限公司
CPC classification number: G06F12/0871 , G06F3/0608 , G06F3/0613 , G06F3/064 , G06F3/0685 , G06F12/0806 , G06F12/0848 , G06F2212/282 , G06F2212/604 , G06F2212/622
Abstract: 本发明属于计算机技术领域,尤其涉及一种数据存储方法及系统。本发明实施例的数据存储方法包括:将磁盘和内存资源划分成小表;将小表的内存空间划分为不同的逻辑对象;将小表的磁盘空间按固定大小划分成多个等大的数据块。本发明实施例的数据存储系统及方法通过划分存储服务器上的磁盘和内存资源为一个个独立的小表,将小表用作业务资源分配和管理的基本单元,可实现单机资源在多个业务上的复用;另外,混合式索引及其关联的合并写,块回收技术在提升系统随机写IOPS的同时能大幅节省了索引的内存空间。
-
-
-
-
-
-
-
-
-