-
公开(公告)号:CN104298598A
公开(公告)日:2015-01-21
申请号:CN201410544602.3
申请日:2014-10-01
Applicant: 东北大学
IPC: G06F11/36
Abstract: 本发明公开了一种分布式环境下RDFS本体的调试方法,本发明首先运用字典编码技术对RDFS本体数据进行压缩处理,降低了数据的存储空间,同时加快了本体推理及调试的速度;之后实现了基于并行分布式计算框架Spark的RDFS本体推理算法,并将推理后的本体调试信息压缩后,存储在HBase分布式数据库中,为本体调试阶段的调试信息查询做准备;本发明实现了基于Spark框架的分布式增量存储更新算法;为了能在分布式环境下求取蕴含辩解,本发明对以往的方法进行了改进,并实现了两种蕴含辩解求取方法。
-
公开(公告)号:CN107103055B
公开(公告)日:2020-05-12
申请号:CN201710237896.9
申请日:2017-03-29
Applicant: 东北大学
Abstract: 本发明公开一种面向内存更新密集型程序的Hourglass和Piggyback算法,其优秀性能来源于在updater和dumper线程之间的指针交换技术,可以避免大量数据拷贝。它周期性的发生updater和dumper线程的角色交换,可以被周期性无止境的复用,一旦上面的部分为空的时候交换上下角色。可以拥有更少的内存和基本没有抖动的延时效果。其都属于轻量级检查点算法的一种,Hourglass结合了目前最好的两个算法zigzag和pingpong,从而利用两个的优点指针交换和比特位标志。Piggyback算法提高性能通过提供一种全量快照,从而可以支持实时olap和oltp的应用。其具有更小的内存占用、全量快照开销、更小的延时、更均匀的延时的优点。
-
公开(公告)号:CN105159818A
公开(公告)日:2015-12-16
申请号:CN201510555374.4
申请日:2015-08-28
Applicant: 东北大学
Abstract: 本发明公开了一种内存数据管理中日志恢复方法及其仿真系统,涉及数据管理技术领域,包括以下步骤:1)、主节点获取集群节点的节点编号,并对所述集群节点发送数据写入命令,所述集群节点进行数据存储,主节点形成映射表;2)、主节点根据节点编号,向与所述集群节点匹配的日志节点发送集群节点日志命令,所述日志节点将日志存储,并将所述日志持久化,然后向主节点日志成功记录信息;3)、在集群节点发生故障时,停止事务执行,主节点获取故障节点的编号,获取日志节点中日志记录进行恢复,能够对集群节点中发生故障部分的节点进行自己恢复的状态并且不需要相互传递有关数据项的信息,降低了日志恢复的复杂性,提高日志恢复的速率和安全保障。
-
公开(公告)号:CN107103055A
公开(公告)日:2017-08-29
申请号:CN201710237896.9
申请日:2017-03-29
Applicant: 东北大学
Abstract: 本发明公开一种面向内存更新密集型程序的Hourglass和Piggyback算法,其优秀性能来源于在updater和dumper线程之间的指针交换技术,可以避免大量数据拷贝。它周期性的发生updater和dumper线程的角色交换,可以被周期性无止境的复用,一旦上面的部分为空的时候交换上下角色。可以拥有更少的内存和基本没有抖动的延时效果。其都属于轻量级检查点算法的一种,Hourglass结合了目前最好的两个算法zigzag和pingpong,从而利用两个的优点指针交换和比特位标志。Piggyback算法提高性能通过提供一种全量快照,从而可以支持实时olap和oltp的应用。其具有更小的内存占用、全量快照开销、更小的延时、更均匀的延时的优点。
-
公开(公告)号:CN105159818B
公开(公告)日:2018-01-02
申请号:CN201510555374.4
申请日:2015-08-28
Applicant: 东北大学
Abstract: 本发明公开了一种内存数据管理中日志恢复方法及其仿真系统,涉及数据管理技术领域,包括以下步骤:1)、主节点获取集群节点的节点编号,并对所述集群节点发送数据写入命令,所述集群节点进行数据存储,主节点形成映射表;2)、主节点根据节点编号,向与所述集群节点匹配的日志节点发送集群节点日志命令,所述日志节点将日志存储,并将所述日志持久化,然后向主节点日志成功记录信息;3)、在集群节点发生故障时,停止事务执行,主节点获取故障节点的编号,获取日志节点中日志记录进行恢复,能够对集群节点中发生故障部分的节点进行自己恢复的状态并且不需要相互传递有关数据项的信息,降低了日志恢复的复杂性,提高日志恢复的速率和安全保障。
-
公开(公告)号:CN104298598B
公开(公告)日:2017-07-11
申请号:CN201410544602.3
申请日:2014-10-01
Applicant: 东北大学
IPC: G06F11/36
Abstract: 本发明公开了一种分布式环境下RDFS本体的调试方法,本发明首先运用字典编码技术对RDFS本体数据进行压缩处理,降低了数据的存储空间,同时加快了本体推理及调试的速度;之后实现了基于并行分布式计算框架Spark的RDFS本体推理算法,并将推理后的本体调试信息压缩后,存储在HBase分布式数据库中,为本体调试阶段的调试信息查询做准备;本发明实现了基于Spark框架的分布式增量存储更新算法;为了能在分布式环境下求取蕴含辩解,本发明对以往的方法进行了改进,并实现了两种蕴含辩解求取方法。
-
-
-
-
-