公开(公告)号：CN103699599B

公开(公告)日：2016-10-05

申请号：CN201310682070.5

申请日：2013-12-13

Applicant: 华中科技大学

Inventor： 谢夏 ,  金海 ,  胡亚军 ,  柯西江

IPC: G06F17/30

Abstract: 本发明公开了一种基于Storm实时流计算框架的消息可靠处理保障方法，包括：①预处理阶段，对环境做初始化工作；②集群计算过程中对已经发射并正处于计算状态的数据进行跟踪；③发射任务在监听到消息处理成功的信号时，清空缓存区中属于它的所有子元组的跟踪信息；④发射任务在监听到消息处理失败的信号时，定位产生处理失败的任务的位置和待恢复数据；⑤根据跟踪信息和xml文件构建消息恢复程序，然后从缓存区读取待恢复数据，执行消息恢复程序；⑥清空缓存区，释放内存空间。本发明在消息恢复时避免了复杂拓扑业务下存在的大规模重复计算，有效地减少消息恢复的计算量，从而提升整个业务场景下数据处理的性能，保证实时处理对低延迟的需求。

公开(公告)号：CN103699599A

公开(公告)日：2014-04-02

申请号：CN201310682070.5

申请日：2013-12-13

Applicant: 华中科技大学

Inventor： 谢夏 ,  金海 ,  胡亚军 ,  柯西江

IPC: G06F17/30

CPC classification number: G06Q10/10 ,  G06Q50/01

Abstract: 本发明公开了一种基于Storm实时流计算框架的消息可靠处理保障方法，包括：①预处理阶段，对环境做初始化工作；②集群计算过程中对已经发射并正处于计算状态的数据进行跟踪；③发射任务在监听到消息处理成功的信号时，清空缓存区中属于它的所有子元组的跟踪信息；④发射任务在监听到消息处理失败的信号时，定位产生处理失败的任务的位置和待恢复数据；⑤根据跟踪信息和xml文件构建消息恢复程序，然后从缓存区读取待恢复数据，执行消息恢复程序；⑥清空缓存区，释放内存空间。本发明在消息恢复时避免了复杂拓扑业务下存在的大规模重复计算，有效地减少消息恢复的计算量，从而提升整个业务场景下数据处理的性能，保证实时处理对低延迟的需求。