一种多出口环境下异常flow日志的识别和纠正方法及系统

    公开(公告)号:CN118573598B

    公开(公告)日:2024-11-15

    申请号:CN202411029828.X

    申请日:2024-07-30

    Abstract: 本申请公开了一种多出口环境下异常flow日志的识别和纠正方法及系统,涉及数据处理技术,包括:获取以指定字段的形式记录的待识别flow日志;查询具有相同五元组的flow日志的数量;在查询的数量大于第一预设阈值的情况下,对查询到的flow日志计算时间分布间隔的标准差和均值,并确定偏差范围;在所确定的偏范围小于预设偏差阈值的情况下,根据时间戳对查询到的flow日志进行排序,确定是否存在时间间隔大于时间阈值的分割点;若不存在时间间隔大于时间阈值的分割点,删除异常flow日志,将flow日志进行纠正处理。本申请的方法用以对分布式设备生成后的flow日志进行检查识别和纠正,生成准确的flow日志。

    一种基于关键字词频特征的多模式匹配方法

    公开(公告)号:CN105373601B

    公开(公告)日:2019-05-21

    申请号:CN201510755911.X

    申请日:2015-11-09

    Abstract: 本发明提供一种基于关键字词频特征的多模式匹配方法,首先从已知的信息数据库中提取关键字并统计出现频率作为其词频信息,其次采用构造含有关键字词频信息的二叉树完成其中的模式串匹配,在字符匹配过程中若出现字符不相等,则与该不匹配字符所在节点的兄弟节点所含字符进行匹配。其利用信息来源的模式的关键字词频信息构造基于字典树的二叉树完成其中的模式串的匹配,并与AC算法进行了比较。传统的AC算法需要维护三张表,并且在模式匹配过程中会频繁访问这三张表;本发明的一种基于关键字词频特征的多模式匹配方法更多的利用了模式本身的词频信息,并不需要维护过多的信息,这就大大减少了系统的内存消耗。

    一种基于消息队列的分布式数据实时去重方法

    公开(公告)号:CN105183858A

    公开(公告)日:2015-12-23

    申请号:CN201510572334.0

    申请日:2015-09-10

    CPC classification number: G06F17/30303 G06F17/30386

    Abstract: 本发明公开一种基于消息队列的分布式数据实时去重方法,根据消息网络接口,配置若干台数据从服务器,并加入消息网络;为每一种需去重的数据配置添加原始数据信息、去重数据信息、去重服务信息;根据原始数据信息,去重数据信息及去重服务信息确定从服务器;原始数据产生者查询重服务信息,并将原始数据发送至相应的原始数据队列;数据从去重服务器查询去重服务信息,从相应的原始数据队列中消费数据,并输入至数据去重引擎,之后将去重后的数据输入到相应的去重数据队列;去重数据消费者查询去重服务信息,并从相应的去重数据队列中消费数据;主服务器根据从服务器信息更新从服务器信息。

    一种基于关键字词频特征的多模式匹配方法

    公开(公告)号:CN105373601A

    公开(公告)日:2016-03-02

    申请号:CN201510755911.X

    申请日:2015-11-09

    CPC classification number: G06F16/245 G06F21/55

    Abstract: 本发明提供一种基于关键字词频特征的多模式匹配方法,首先从已知的信息数据库中提取关键字并统计出现频率作为其词频信息,其次采用构造含有关键字词频信息的二叉树完成其中的模式串匹配,在字符匹配过程中若出现字符不相等,则与该不匹配字符所在节点的兄弟节点所含字符进行匹配。其利用信息来源的模式的关键字词频信息构造基于字典树的二叉树完成其中的模式串的匹配,并与AC算法进行了比较。传统的AC算法需要维护三张表,并且在模式匹配过程中会频繁访问这三张表;本发明的一种基于关键字词频特征的多模式匹配方法更多的利用了模式本身的词频信息,并不需要维护过多的信息,这就大大减少了系统的内存消耗。

    一种基于文件序列化的自动机远程分发和初始化方法

    公开(公告)号:CN105302851A

    公开(公告)日:2016-02-03

    申请号:CN201510572332.1

    申请日:2015-09-10

    CPC classification number: G06F17/30194

    Abstract: 本发明提供一种基于文件序列化的自动机远程分发和初始化方法,将位于内存的自动机序列化成本地文件,然后将序列化后的文件进行分发和快速部署,以替代原有的基于规则和特征的分发和部署方式。该方法包括步骤:S1.配置后端服务器,将特征和规则进行初始化生成自动机;S2.在所述后端服务器上将自动机序列化到本地,以文件形式存储;S3.配置分发网络和n台处理机,所述后端服务器将文件形式存在的自动机通过分发网络发送给所有需要进行匹配处理的处理机;S4.每台处理机都接收文件形式存在的自动机,并初始化到内存;S5.处理机根据新生成自动机进行特征的匹配和检测处理。

Patent Agency Ranking