一种基于阿里云的大数据处理方法及系统

    公开(公告)号:CN113094154A

    公开(公告)日:2021-07-09

    申请号:CN202110355586.3

    申请日:2021-04-01

    Abstract: 本发明公开了一种基于阿里云的大数据处理方法,包括通过阿里云对采集到的数据进行预处理;通过阿里云对预处理后的数据进行多任务处理;将在数据进行多任务处理中产生的告警入库;将多任务处理后的数据通过阿里云存储,本发明基于阿里云的计算和存储平台,充分的利用了阿里云的数据处理能力(MaxCompute EB级的大数据存储和分析能力),通过Blink让esper以分布式多task的形式运行在阿里云上,解决了esper单进程效率低的问题,提供了更强的数据分析能力,并且通过阿里云平台中的各种组件提高了数据处理的效率。

    一种攻击次数分类统计方法及系统

    公开(公告)号:CN116527386A

    公开(公告)日:2023-08-01

    申请号:CN202310642955.6

    申请日:2023-05-31

    Abstract: 本发明公开了一种攻击次数分类统计方法及系统包括,采集各安全设备原始日志,并对原始日志进行预处理;将预处理后的日志数据存放至可扩展分布式文件系统中;获取可扩展分布式文件系统存储的数据,结合目标维度,对日志进行聚合,计算出攻击次数,并进行分类统计。借助Flink优秀的流处理能力,保证了任务运行的稳定性以及“精确一次”语义,即不重不漏地处理每条日志;在范式化日志中加入“事件时间戳”,并将其在计算攻击次数时作为聚合依据,消除了乱序到达的日志对最终统计结果的影响;结合安全设备的网络拓扑,引入“可达攻击”和“阻断攻击”的分类标准,使攻击次数的统计更具有分析价值。

    针对APT攻击的安全编排与自动化响应方法、装置及系统

    公开(公告)号:CN114070629B

    公开(公告)日:2023-10-20

    申请号:CN202111362550.4

    申请日:2021-11-16

    Abstract: 本发明公开了一种针对APT攻击的安全编排与自动化响应方法、装置及系统,所述方法包括获取日志数据;获取本地威胁情报库,所述本地威胁情报库中包括威胁主体信息、访问方式信息,攻击目标信息和攻击指标信息,用于进行威胁的判断和分析;基于人工智能方法,对所述日志数据进行规则匹配,生成安全威胁事件告警;利用所述本地威胁情报库对所述安全威胁事件告警进行分析,识别出告警数据;对识别出的告警数据进行告警严重程度划分,根据预设的告警严重程度与响应剧本的关联关系,对攻击源进行响应操作,并通报预警。本发明能够实现安全响应的速度和效率高,平均故障响应时间短,大幅提升了安全运营的效能和成熟度。

    一种基于雪花算法的快速检索方法及系统

    公开(公告)号:CN118885502A

    公开(公告)日:2024-11-01

    申请号:CN202410777604.0

    申请日:2024-06-17

    Abstract: 本发明公开了一种基于雪花算法的快速检索方法及系统,涉及信息检索领域,方法包括:在数据库表插入数据时,利用雪花算法生成主键ID并入库;设置64位初始ID,所述初始ID所有位数均为0;以业务根据表的插入时间为维度,对指定时间进行范围查询,得到指定时间范围的最小时间和最大时间;根据最小时间和最大时间填充初始ID,得到指定时间范围内的最小ID和最大ID;根据指定时间范围内的最小ID和所述最大ID,对所述主键ID进行范围查询;本发明充分利用了雪花算法自增长、且包括时间戳的特性,可用于优化数据库的检索性能;在一定程序上避免了大表按时间分区的问题,优化业务代码的实现难度。

Patent Agency Ranking