公开(公告)号：CN111177193A

公开(公告)日：2020-05-19

申请号：CN201911289752.3

申请日：2019-12-13

Applicant: 航天信息股份有限公司

Inventor： 包维宁 ,  任钦正 ,  李瑞明 ,  潘竞旭 ,  张学军 ,  鲁龙 ,  宋颖

IPC: G06F16/2455 ,  G06F16/2457 ,  G06F16/215

Abstract: 本发明公开了一种基于Flink的日志流式处理方法及系统，所述方法包括：实时采集日志数据；接收用户需求，所述用户需求包括日志信息、数据类型以及处理需求；根据用户需求对所述日志数据进行过滤，只保留用户需求所对应的数据类型，获得处理数据；根据Flink框架将所述处理数据拉取至内存中，根据处理需求按照预设规则进行信息处理，获得实时处理结果；所述方法及系统从处理的架构层面进行了优化，大大减少了对服务器中处理器资源和内存资源的依赖，提高了资源利用率；改变以往需要专门处理的情况，实时处理可随时查取，提高了日志处理问题的效率。所述方法及系统仅需一次部署即可，较比以往每次执行特定脚本的方式更为便捷。