-
公开(公告)号:CN103384266A
公开(公告)日:2013-11-06
申请号:CN201310225117.5
申请日:2013-06-07
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明涉及一种基于文件级实时同步的Parastor200管理节点高可用方法,所述方法通过以下两个方面实现:(1)管理节点存储系统信息的同步;(2)管理节点故障切换。本发明通过实现Parastor200管理节点的高可用使Parastor200实现了完全意义上的全冗余设计,系统中任何部件的损坏不影响存储系统的使用。管理节点任何部件的损坏,都可以在数秒内将服务切换到备用节点上。这样既不影响正常使用,又有充足的时间去修复故障。
-
公开(公告)号:CN103324446A
公开(公告)日:2013-09-25
申请号:CN201310224993.6
申请日:2013-06-07
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明涉及一种高性能弹性容量虚拟机磁盘的实现方法,其特征在于,所述方法通过稀疏文件机制,逻辑盘卷管理机制和虚拟机磁盘对齐原理实现;所述方法包括以下方面:(1)采用稀疏文件机制实现弹性容量虚拟机磁盘;(2)采用逻辑盘卷管理LVM机制实现磁盘空间的在线扩容;(3)采用虚拟机磁盘对齐原理。该方法能够在云计算环境下极大节省存储空间至少50%以上,另外使虚拟机磁盘IO性能达到物理文件系统IO性能的90%以上。
-
-
公开(公告)号:CN102024018B
公开(公告)日:2013-03-13
申请号:CN201010536531.4
申请日:2010-11-04
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明了公开一种分布式文件系统中垃圾元数据的在线回收方法。该方法通过多路搜索树对元数据在本地文件系统上的存储结构进行快照,在处理删除义件或目录动作时,不去同步清理垃圾索引节点,而是将描述索引节点文件的树节点及其所有祖先节点置上标志。当垃圾索引节点数量达到一个阈值时,唤醒异步回收线程,该线程遍历多路搜索树,通过垃圾标志位确定节点或其子节点是否存在垃圾元数据,然后做进一步垃圾清理工作。该发明可以在基本不影响分布式文件系统对外提供服务的情况下,去回收文件系统运行中产生的无效元数据,从而节省元数据服务器上的存储资源,减轻元数据服务器访问本地文件系统时的负载。
-
公开(公告)号:CN102902615A
公开(公告)日:2013-01-30
申请号:CN201210348309.0
申请日:2012-09-18
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明公开了一种Lustre并行文件系统错误报警方法集及其系统,其步骤有:(1)监控模块对OSS日志周期性扫描;(2)分析日志信息,判断是否存在故障信息,并将所述故障信息生成告警报告;(3)判断告警报告中的故障是否严重,严重故障生成单独的报告供程序进一步分析。最后再和普通告警信息汇总写入txt文件中,通过mail中转站发送给管理员。本发明对应的系统包括LAToolkit服务端、存储客户端集群、邮件服务器集群和LAToolkit客户端。通过本发明对系统的控制,实现了智能故障分析,形成简明报告,远程通过手机即可了解故障大致状况,节省了检测时间。且本发明成本低,不需要增添新的设备,利用原有设备即可。
-
公开(公告)号:CN102541985A
公开(公告)日:2012-07-04
申请号:CN201110326448.9
申请日:2011-10-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 在本发明中,分布式文件系统采用多元数据服务器架构,即单个目录的内容分布在多个元数据服务器上。之所以选用多元数据的架构,主要是为了分散元数据访问的压力,提高并发度。针对网络应用写少读多的特性,本发明在客户端的缓存中保留目录项的内容以及对应的索引节点,以避免客户端多次读取时需要和服务器进行多次通信;同时,在初次访问一个目录时,对分布在不同元数据服务器上的该目录的目录项进行并行预读,同时,根据默认的预读策略或应用程序下发的预读策略,对文件索引节点和文件内容进行预读。这样以来,当应用程序需要访问目录项的某个文件时,该文件的元数据和数据可能已经预读进客户端本地缓存中,因而能够大大加速应用程序的执行速率。
-
公开(公告)号:CN102385624A
公开(公告)日:2012-03-21
申请号:CN201110328316.X
申请日:2011-10-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种面向分布式文件系统的日志数据组织的方法,在普通文件的某一固定区域记录日志数据空间的控制信息,所述控制信息包括有效日志数据的开始偏移,结束偏移,最后一条日志记录的开始偏移,最大可用日志数据空间的大小,所述日志记录中包括本条日志记录的大小信息,通过日志数据空间的控制信息和每条日志记录的大小信息实现日志数据空间的管理。本发明提供了一种基于普通文件的日志记录的管理方式,使用指针在日志记录之间实现快速查找;引入cache日志的概念,实现基于普通文件的批量日志记录,优化日志性能;通过在不同服务节点之间记录多种日志,实现元数据服务的快速接管和恢复。
-
公开(公告)号:CN102368700A
公开(公告)日:2012-03-07
申请号:CN201110328318.9
申请日:2011-10-25
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明提出的一种分布式系统中高可靠的消息传输方法,能够为分布式系统提供高效可靠的消息传输,保证内存到内存级别的消息传输的可靠性,同时在网络出现故障之后,能够保证网络传输中的丢失的消息在恢复步骤中重新传输到接收方,保证了系统的可靠性。
-
公开(公告)号:CN102368222A
公开(公告)日:2012-03-07
申请号:CN201110328317.4
申请日:2011-10-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F11/14
Abstract: 本发明提供了一种多副本存储系统在线修复的方法,采用多副本的方式保存对象,提高系统的可靠性,同一对象的不同副本存储在不同的OSD上,同一对象的副本中有一个是主副本,修改操作发给该副本,主副本将操作发给从副本,主副本出现故障时,通过换主操作,由MDS选择新的主副本,MDS记录故障信息,从副本出现故障时,主副本告知MDS,MDS记录该故障对象信息,故障解除后,触发数据修复,在MDS的总控制下,完成数据的修复,OSD节点宕机时,客户端向MDS申请换主,换主完成后,继续操作该对象。本发明通过在线的方式对副本的一致性进行修复,提高了系统的可靠性和可用性。
-
公开(公告)号:CN102368210A
公开(公告)日:2012-03-07
申请号:CN201110325984.7
申请日:2011-10-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F9/38
Abstract: 本发明提供了一种分布式系统中基于流水线的元数据日志的方法,元数据日志的每个阶段由一个独立的线程完成,不同阶段之间使用带信号量的队列进行数据传送。本发明针对了分布式文件系统的元数据访问特点,引入了流水线的概念,将元数据可靠性处理的多个阶段,即写可靠性介质.写磁盘以及文件sync等操作进行了流水化设计,不仅充分的利用了多线程提高了并发性,同时,实现了非阻塞的元数据可靠性处理,极大的提高了元数据日志系统的数据处理能力。
-
-
-
-
-
-
-
-
-