-
-
-
公开(公告)号:CN107066205B
公开(公告)日:2020-06-05
申请号:CN201611257420.3
申请日:2016-12-30
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F3/06 , G06F16/182
Abstract: 本发明提出了一种数据存储系统,该数据存储系统包括:Hadoop集群,和设置在Hadoop集群中的组件、NFS服务器模块,其中,组件包括Map‑Reduce框架,并且Map‑Reduce框架用于执行Map‑Reduce流程,以及Map‑Reduce流程包括Map任务和Reduce任务,设置在NFS服务器模块中的磁盘阵列模块,并且通过磁盘阵列模块和NFS服务器模块构成共享存储设备,从而为Hadoop集群提供了存储,以及将各个Map任务的结果存储至共享存储设备,以去掉shuffle过程,从而优化了Map任务和Reduce任务的流程;以及组件将Hadoop集群中使用的文件切分为多个块,并且将每个块均发到不同的计算机节点,从而实现了负载均衡。本发明通过该数据存储系统,从而使得系统在性价比、可靠性、可维护、性能等方面均得到了较大改善。
-
公开(公告)号:CN106874110A
公开(公告)日:2017-06-20
申请号:CN201611257446.8
申请日:2016-12-30
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F9/50
CPC classification number: G06F9/5094 , G06F9/5044 , G06F2209/5015
Abstract: 本发明提出了一种集群存储系统的节能方法和装置,该节能方法包括:将集群划分为多个分区,其中,多个分区被配置为多种不同工作状态的分区,并且多种不同工作状态的分区包括:服务分区;获取服务分区的存储空间的使用率信息;根据使用率信息,调整多个分区的工作状态,并且选取调整工作状态后的多个分区中的服务分区进行存储操作。本发明根据分区的容量变化,自动变化分区的状态以在读写操作时,仅向一个分区写数据,其他分区根据状态执行相应的节能方式,从而达到节能的需求。
-
公开(公告)号:CN104135388B
公开(公告)日:2017-06-06
申请号:CN201410401812.7
申请日:2014-08-15
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明提供一种分布式系统中数据节点的安全管理方法,包括以下步骤:确定数据节点的物理状态和物理状态的转移路径;管理系统对数据节点的物理状态进行管理;不同物理状态下的数据节点对数据操作进行管理。本发明为所有的数据节点定义6个物理状态,保证了数据健康程度监控的及时性,以使用户得以及时得知整个分布式系统上每个节点上的数据健康状况;且数据节点的删除操作仅允许针对僵尸状态的数据节点进行,如果用户想要删除健康的数据节点,必须手动对其进行手动重建的操作,待其重建完成后方可删除,这样从根本上保证了分布式系统的数据安全性。
-
-
公开(公告)号:CN103530355A
公开(公告)日:2014-01-22
申请号:CN201310470701.7
申请日:2013-10-10
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F3/0647 , G06F3/0652
Abstract: 本发明公开了一种数据对象的管理方法和装置,其中,该管理方法包括:对于每个数据对象,比较该数据对象的操作时间与当前时间,操作时间是对该数据对象进行最后一次操作的时间;根据比较结果与该数据对象所在设备的性能等级确定是否迁移该数据对象。本发明通过根据数据对象的操作时间和当前时间的比较来迁移该数据对象至与其对应的性能等级的设备上,能够使数据对象与其所存储的设备的性能等级匹配,提高了系统的访问性能。
-
公开(公告)号:CN103067461A
公开(公告)日:2013-04-24
申请号:CN201210553741.3
申请日:2012-12-18
Applicant: 曙光信息产业(北京)有限公司
IPC: H04L29/08
Abstract: 本发明公开了一种文件的元数据管理系统,包括:元数据管理子系统,用于存储并管理文件的元数据;元数据位置管理子系统,用于存储并管理所述元数据的存储位置信息;以及服务接入节点,用于在接收到文件的应用请求时,从所述元数据位置管理子系统获取所述文件的元数据的存储位置信息,并根据所述元数据的存储位置信息从所述元数据管理子系统获取所述元数据。相应地,本发明还公开了一种文件的元数据管理方法。采用本发明,可以使对外提供的元数据的并发访问能力提高。
-
公开(公告)号:CN103049519A
公开(公告)日:2013-04-17
申请号:CN201210553778.6
申请日:2012-12-18
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据加载方法,包括:将要加载数据批量加载到临时数据表中;根据预设定的时间间隔将所述临时数据表中的数据置换到中间数据表中;对置放到所述中间数据表中的数据创建索引;以及,将已创建索引的数据从所述中间数据表置换到目标数据表中。本发明还公开了一种数据加载装置。采用本发明,可以提高数据加载的效率。
-
公开(公告)号:CN103036994A
公开(公告)日:2013-04-10
申请号:CN201210553734.3
申请日:2012-12-18
Applicant: 曙光信息产业(北京)有限公司
IPC: H04L29/08
Abstract: 本发明公开了一种实现负载均衡的云存储系统,包括负载监控服务单元用于在检测出第一云存储站点的负载超过负载阈值时,将应用请求转发给第二云存储站点;第二云存储站点的多个服务接入点中的一个用于将应用请求发送给多个元数据位置管理服务单元中负载较轻的元数据位置管理服务单元;该元数据位置管理服务单元用于根据应用请求确定出与应用相对应的元数据位置信息,以及根据所确定出的元数据位置信息从相应的元数据服务器获取相应的元数据;服务接入点还用于将所获取的元数据以及应用请求发送给数据文件管理子系统以便数据文件管理子系统根据应用请求执行相应的操作。本发明还公开了用于云存储系统的负载均衡方法。本发明可改善云存储系统的性能。
-
-
-
-
-
-
-
-
-