-
-
公开(公告)号:CN103019886A
公开(公告)日:2013-04-03
申请号:CN201210533418.X
申请日:2012-12-11
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F11/14
Abstract: 本发明公开了一种,多元数据服务器下日志系统的恢复方法,包括:在宕机的节点重启时,查询当前元数据文件的大小;将当前元数据文件的大小与预定的阈值进行比较;以及在当前元数据文件的大小小于预定的阈值时,将当前元数据文件直接拷贝到所述节点。通过本发明的技术方案,能够降低恢复元数据文件的时间。
-
公开(公告)号:CN102385624A
公开(公告)日:2012-03-21
申请号:CN201110328316.X
申请日:2011-10-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种面向分布式文件系统的日志数据组织的方法,在普通文件的某一固定区域记录日志数据空间的控制信息,所述控制信息包括有效日志数据的开始偏移,结束偏移,最后一条日志记录的开始偏移,最大可用日志数据空间的大小,所述日志记录中包括本条日志记录的大小信息,通过日志数据空间的控制信息和每条日志记录的大小信息实现日志数据空间的管理。本发明提供了一种基于普通文件的日志记录的管理方式,使用指针在日志记录之间实现快速查找;引入cache日志的概念,实现基于普通文件的批量日志记录,优化日志性能;通过在不同服务节点之间记录多种日志,实现元数据服务的快速接管和恢复。
-
公开(公告)号:CN102368210A
公开(公告)日:2012-03-07
申请号:CN201110325984.7
申请日:2011-10-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F9/38
Abstract: 本发明提供了一种分布式系统中基于流水线的元数据日志的方法,元数据日志的每个阶段由一个独立的线程完成,不同阶段之间使用带信号量的队列进行数据传送。本发明针对了分布式文件系统的元数据访问特点,引入了流水线的概念,将元数据可靠性处理的多个阶段,即写可靠性介质.写磁盘以及文件sync等操作进行了流水化设计,不仅充分的利用了多线程提高了并发性,同时,实现了非阻塞的元数据可靠性处理,极大的提高了元数据日志系统的数据处理能力。
-
公开(公告)号:CN102024021A
公开(公告)日:2011-04-20
申请号:CN201010536541.8
申请日:2010-11-04
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种逻辑文件系统元数据的日志方法。在一个固定大小区域保存日志,并充分利用内存结构减少写永久设备的次数;在元数据操作过程中仅精确记录元数据修改前后的数据,使得恢复过程不依赖于自身文件系统代码;在修改结果返回用户前将日志刷到永久设备;恢复时,仅根据日志数据进行重做或撤销操作即可将保证元数据处于一致状态。本发明充分利用内存结构减少写永久设备(日志设备)的次数;在元数据操作过程中仅精确记录元数据修改前后的数据,使得恢复过程不依赖于自身文件系统代码;恢复时,仅根据日志数据进行重做或撤销操作即可将保证元数据处于一致状态,减少了恢复所需的时间。
-
公开(公告)号:CN104156420B
公开(公告)日:2017-10-03
申请号:CN201410383979.5
申请日:2014-08-06
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种事务日志的管理方法和装置,该事务日志的管理方法包括:确定所述事务日志所对应的所有事务操作;对确定的所述事务操作进行去重;根据去重后的事务操作,生成新的事务日志;该事务日志的管理装置包括:确定模块,用于确定所述事务日志所对应的所有事务操作;去重模块,用于对确定的所述事务操作进行去重;生成模块,用于根据去重后的事务操作,生成新的事务日志。本发明通过对事务日志中事务操作的去重,实现了日志设备的数据量减少,从而使得在元数据的副本发生故障后,降低了其他副本为其保留的日志数据的规模,进而延长了文件系统可以容忍的副本故障时间,并减少了故障元数据需要修复的时间。
-
公开(公告)号:CN103235747B
公开(公告)日:2016-12-28
申请号:CN201310145568.8
申请日:2013-04-24
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明公开了一种元数据的恢复方法和系统,其中,该方法包括:根据需要恢复的数据创建事务,并保存创建的事务对应的事务标记;通过执行创建的事务以恢复数据,其中,如果对于已创建的事务所对应的数据出现新的操作,则利用该新的操作所对应事务的事务标记替换该数据对应的原事务的事务标记。本发明通过执行事务的方式恢复数据能使需要恢复数据的节点准确地接收完整的数据,并且通过使用最终的操作事务替代中间操作事务的方法,从而实现不重复执行对应于同一数据的多个事务来减少数据的恢复时间,保证了数据的恢复质量和恢复进度,从而提高系统的稳定性和可靠性。
-
公开(公告)号:CN103235754B
公开(公告)日:2016-10-05
申请号:CN201310145208.8
申请日:2013-04-24
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明公开了一种分布式文件系统中请求的处理方法和装置,该方法包括:判断请求是否为待处理的请求;在请求为待处理的请求的情况下,对请求进行解析,得到该请求所包含的节点;对于该请求的每个节点,根据该节点的类型,将该节点发送至与类型对应的节点队列。本发明通过对请求进行解析,使请求中的每个节点根据其类型发送至对应的节点队列,能使其快速准确地用到节点上,保证让不同节点上的请求各自并发执行,提高了系统操作效率。
-
-
公开(公告)号:CN102024022B
公开(公告)日:2013-08-28
申请号:CN201010536551.1
申请日:2010-11-04
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明提供了一种分布式文件系统复制元数据的方法。多个元数据副本排定次序,按照次序充当主副本;充当主副本的元数据副本承担写操作,并生成日志记录;主副本生成的日志写给从副本保存,保存该日志的从副本达到一定数目后,保存操作成功;从副本的日志记录集中应用到本地数据;如果主副本失效,第一从副本更新本地数据,转换为主副本,标记陈旧数据后对外提供服务;如果从副本失效,主副本记录所有发往从副本日志的信息,当从副本重新可用时,发往从副本,从副本写回日志后即完成更新。本发明通过将主副本的日志进行成批传送到从副本,缩短了元数据操作的关键路径,并提高了应用效率;从副本在主节点失效后更新本地数据并承担主副本角色,标记陈旧数据后即可对外提供服务,缩短了切换时间。
-
-
-
-
-
-
-
-
-