公开(公告)号：CN103853766B

公开(公告)日：2017-04-05

申请号：CN201210510056.2

申请日：2012-12-03

Applicant: 中国科学院计算技术研究所

Inventor： 张瑾 ,  程学旗 ,  林祥辉 ,  黄康平

IPC: G06F17/30

Abstract: 本发明公开了一种面向流式数据的在线处理方法，包括：步骤1，建立在线内存缓存层，对所述流式数据按照键值结构进行属性抽取后存储在所述在线内存缓存层中；步骤2，在所述内存缓存层中对所述流式数据建立混合索引结构；步骤3，对建立好索引结构的每条流式数据增加一个访问标志位，此标志位用于标志不同分析程序对于该流式数据的注册情况，同时对每一个分析程序访问流式数据的状态进行记录。步骤4，数据清理，若某流式数据被所述内存缓存层中的所有指定的分析程序访问过，则将该流式数据进行清理操作。本发明大幅度减小了流式处理过程中的数据读写压力，能够有效缓解大规模流式数据处理系统中数据库的压力，且能够提升流式数据的实时处理速度。

公开(公告)号：CN103853766A

公开(公告)日：2014-06-11

申请号：CN201210510056.2

申请日：2012-12-03

Applicant: 中国科学院计算技术研究所

Inventor： 张瑾 ,  程学旗 ,  林祥辉 ,  黄康平

IPC: G06F17/30

CPC classification number: G06F17/3048 ,  G06F17/30545

Abstract: 本发明公开了一种面向流式数据的在线处理方法，包括：步骤1，建立在线内存缓存层，对所述流式数据按照键值结构进行属性抽取后存储在所述在线内存缓存层中；步骤2，在所述内存缓存层中对所述流式数据建立混合索引结构；步骤3，对建立好索引结构的每条流式数据增加一个访问标志位，此标志位用于标志不同分析程序对于该流式数据的注册情况，同时对每一个分析程序访问流式数据的状态进行记录。步骤4，数据清理，若某流式数据被所述内存缓存层中的所有指定的分析程序访问过，则将该流式数据进行清理操作。本发明大幅度减小了流式处理过程中的数据读写压力，能够有效缓解大规模流式数据处理系统中数据库的压力，且能够提升流式数据的实时处理速度。