一种任务驱动的海量网络日志高效筛选分发方法及装置

    公开(公告)号:CN119106014A

    公开(公告)日:2024-12-10

    申请号:CN202411006526.0

    申请日:2024-07-25

    Abstract: 本发明是有关于一种任务驱动的海量网络日志高效筛选分发方法及装置,针对超大规模网络日志数据筛选分发存在的性能瓶颈问题,提出了一种多任务高效并行筛选和分发的创新方案。该方案聚焦于网络日志数据的智能化筛选与灵活分发,旨在整合共性计算需求、消除重复运算、优化资源配置、提升任务并发处理能力。具体实施中,本发明通过分解与合并跨任务日志筛选逻辑,结合常驻实时数据筛选与周期性离线筛选任务,系统性地完成了数据的精细化按需筛选、字段富化、数据分级和历史数据预存储,从而能够根据上层业务的实际需求,为不同任务动态且精准地分发合适的数据,为网络威胁监测、流量行为分析等应用提供数据支撑。

Patent Agency Ranking