-
公开(公告)号:CN109814807A
公开(公告)日:2019-05-28
申请号:CN201811624963.3
申请日:2018-12-28
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明公开了一种数据存储方法,包括:客户端将非满条带的原始数据发送至一个数据节点;在数据节点处将非满条带的原始数据额外复制M份并发送至其他M个数据节点,从而将N+M纠删码在非满条带时转为M+1副本存储,其中,N表示满条带时原始数据的个数,M表示校验数据的个数,非满条带的原始数据的个数小于N;写入M份的原始数据之后响应客户端。本发明的实施例在不降低可靠性的前提下,将N+M纠删码非满条带写转化为M+1副本的方式,这样可以大大降低N+M纠删码补齐所带来的额外开销,从而降低了写的延迟。对于小块随机写的应用程序有较大的性能提升,并且保持了可靠性。另外,本发明还公开了相应的数据存储装置。
-
公开(公告)号:CN103310000B
公开(公告)日:2017-06-16
申请号:CN201310256313.9
申请日:2013-06-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种元数据管理方法,包括:在元数据位置服务模块中获取元数据位置的信息;将元数据位置的信息传送给元数据服务模块;以及根据元数据位置的信息对元数据进行读写操作。本发明将元数据的管理划分为元数据位置管理层和元数据管理层,通过元数据位置管理层统一管理用户访问的元数据位置信息,然后元数据管理层根据元数据位置的信息将用户的访问请求分散到多个服务器上去执行,从而能够克服由于多个用户同时访问元数据存储系统所导致的系统响应时间长、反应慢、访问效率低等缺陷,因此,能够承受多个用户同时访问该存储系统所带来的访问压力,从而提高了系统性能。
-
公开(公告)号:CN103034584B
公开(公告)日:2016-08-17
申请号:CN201210518430.3
申请日:2012-12-05
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明公开了一种测试分布式锁的方法,包括以下步骤:构建一个用户态函数库作为虚拟客户端库,所述虚拟客户端库中封装有索引节点缓存结构和所有实现元数据系统调用的接口;以及利用虚拟客户端库对分布式锁进行测试。本发明通过利用带资源缓存的虚拟客户端进行测试,能很好地模拟真实客户端和元数据服务器之间的通信,协助对分布式锁系统的测试。
-
公开(公告)号:CN102929789B
公开(公告)日:2016-06-08
申请号:CN201210357225.3
申请日:2012-09-21
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F12/02
Abstract: 本发明公开了记录组织方法和记录组织结构,其中,该方法包括:为每种记录分配一个唯一标识;在对应的磁盘文件中建立与每种记录相对应的数据文件和元数据文件,其中,每种记录的数据文件对应于一个磁盘文件;以及使数据文件只进行连续追加写入操作。通过本发明的技术方案,能够提高大压力下元数据服务器的性能并且具有很好的扩展性。
-
公开(公告)号:CN103823639A
公开(公告)日:2014-05-28
申请号:CN201410056841.4
申请日:2014-02-19
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明提供了一种迁移对象的方法和系统,该方法包括以下步骤:统计多个对象存储设备OSD的负载,元数据服务器MDS定期查询多个OSD的负载信息;通过MDS分析多个OSD的负载并进行排序,选出负载较大的第一多个OSD和负载较小的第二多个OSD;以及将第一多个OSD上的部分对象迁移至第二多个OSD上。本发明能够实现对象的动态迁移,从而使得服务器的负载均衡,提高了服务器系统的整体服务能力,即使在访问集中的情况下,也能够使系统的服务能力保持较好的状态,有效降低了客户端的平均等待时间,提高了用户体验。
-
公开(公告)号:CN102567089B
公开(公告)日:2014-02-19
申请号:CN201110326053.9
申请日:2011-10-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F9/46
Abstract: 本发明公开一种分布式文件系统中元数据服务器线程池机制,这种机制的目的是提高分布式文件系统元数据服务器的处理能力,增加其聚合IOPS,满足分布式文件系统中频繁的元数据服务请求。该机制使用各种方法避免因事务阻塞等造成的元数据服务器处理能力下降,同时也考虑了在事务多次提交中可能造成的线程等待锁或者负载不均衡等负面情况。
-
公开(公告)号:CN103310000A
公开(公告)日:2013-09-18
申请号:CN201310256313.9
申请日:2013-06-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种元数据管理方法,包括:在元数据位置服务模块中获取元数据位置的信息;将元数据位置的信息传送给元数据服务模块;以及根据元数据位置的信息对元数据进行读写操作。本发明将元数据的管理划分为元数据位置管理层和元数据管理层,通过元数据位置管理层统一管理用户访问的元数据位置信息,然后元数据管理层根据元数据位置的信息将用户的访问请求分散到多个服务器上去执行,从而能够克服由于多个用户同时访问元数据存储系统所导致的系统响应时间长、反应慢、访问效率低等缺陷,因此,能够承受多个用户同时访问该存储系统所带来的访问压力,从而提高了系统性能。
-
公开(公告)号:CN102385623B
公开(公告)日:2013-08-28
申请号:CN201110328295.1
申请日:2011-10-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 在本发明中,目录的内容使用文件来存储,对于目录中的目录项,通过对目录项名称进行哈希,将目录项分为若干子集。对于不同的子集,其在目录文件中按照条带化的方式进行存储,条带的大小相对较大,以使读取磁盘时能够充分利用底层文件系统的预读功能。对于每个子集的条带块中的所有目录项,采用二叉树的方式进行存储,以避免初次读取时需要建立二叉树。对于所有的条带块,采用内存映射(mmap)的方式进行访问,避免每次访问磁盘数据时进行内存分配、调用系统文件读写系统调用所带来的开销。
-
-
公开(公告)号:CN103034584A
公开(公告)日:2013-04-10
申请号:CN201210518430.3
申请日:2012-12-05
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明公开了一种测试分布式锁的方法,包括以下步骤:构建一个用户态函数库作为虚拟客户端库,所述虚拟客户端库中封装有索引节点缓存结构和所有实现元数据系统调用的接口;以及利用虚拟客户端库对分布式锁进行测试。本发明通过利用带资源缓存的虚拟客户端进行测试,能很好地模拟真实客户端和元数据服务器之间的通信,协助对分布式锁系统的测试。
-
-
-
-
-
-
-
-
-