一种基于TCAM连续数值匹配方法和装置

    公开(公告)号:CN104901947B

    公开(公告)日:2017-11-24

    申请号:CN201510172733.8

    申请日:2015-04-13

    Abstract: 本发明实施例提供一种基于TCAM连续数值匹配方法和装置,该方法包括:根据分界点数值将连续数值区域划分为三个数值段,在该三个数值段中至少有一个数值段的两个端点数值符合预设三态编码规则,在端点数值不符合预设三态编码规则的数值段内继续确定分界点数值进行数据分段;对于符合预设三态编码规则的两个端点数值,将该两个端点数值之间的数值段中数值的二进制编码的宽度比特分别分成多个比特段,对每个比特段进行三态编码,生成该数值段的三态内容寻址内存器记录;对待匹配数值进行与数据段相同形式的三态编码,生成待匹配数值的三态内容寻址内存器记录,将待匹配数值的三态内容寻址内存器记录和数值段的三态内容寻址内存器记录进行匹配。

    一种多出口环境下异常flow日志的识别和纠正方法及系统

    公开(公告)号:CN118573598A

    公开(公告)日:2024-08-30

    申请号:CN202411029828.X

    申请日:2024-07-30

    Abstract: 本申请公开了一种多出口环境下异常flow日志的识别和纠正方法及系统,涉及数据处理技术,包括:获取以指定字段的形式记录的待识别flow日志;查询具有相同五元组的flow日志的数量;在查询的数量大于第一预设阈值的情况下,对查询到的flow日志计算时间分布间隔的标准差和均值,并确定偏差范围;在所确定的偏范围小于预设偏差阈值的情况下,根据时间戳对查询到的flow日志进行排序,确定是否存在时间间隔大于时间阈值的分割点;若不存在时间间隔大于时间阈值的分割点,删除异常flow日志,将flow日志进行纠正处理。本申请的方法用以对分布式设备生成后的flow日志进行检查识别和纠正,生成准确的flow日志。

    一种视频关键帧提取方法

    公开(公告)号:CN107832694B

    公开(公告)日:2021-01-12

    申请号:CN201711047162.0

    申请日:2017-10-31

    Abstract: 本发明公开了一种视频关键帧提取算法,属于信息安全技术领域。该算法首先计算当前输入视频流中某帧的水平方向的黑边宽度和垂直方向的黑边高度,以及该帧有效图像区域的宽度和高度;然后计算该帧的有效图像区域的特征信息,并与上一帧比较,计算差异度;差异度大于阈值时,将该差异帧中的数据与缓存区中的每帧数据分别比较,计算该帧的相似度;该差异帧的相似度大于阈值时,将该差异帧与缓存区中的该某帧视为相似,将非差异帧计数加1,达到非差异帧累计数最大值,输出该帧为差异帧并写入缓存区,统计该帧的Y值的方差值和UV值的方差值,并输出关键帧和空白帧。本发明算法通过C语言实现,可应用于多视频多线程的调用,适应性强,高效快速。

    一种基于消息队列的分布式数据实时去重方法

    公开(公告)号:CN105183858B

    公开(公告)日:2018-12-21

    申请号:CN201510572334.0

    申请日:2015-09-10

    Abstract: 本发明公开一种基于消息队列的分布式数据实时去重方法,根据消息网络接口,配置若干台数据从服务器,并加入消息网络;为每一种需去重的数据配置添加原始数据信息、去重数据信息、去重服务信息;根据原始数据信息,去重数据信息及去重服务信息确定从服务器;原始数据产生者查询重服务信息,并将原始数据发送至相应的原始数据队列;数据从去重服务器查询去重服务信息,从相应的原始数据队列中消费数据,并输入至数据去重引擎,之后将去重后的数据输入到相应的去重数据队列;去重数据消费者查询去重服务信息,并从相应的去重数据队列中消费数据;主服务器根据从服务器信息更新从服务器信息。

    一种多出口环境下异常flow日志的识别和纠正方法及系统

    公开(公告)号:CN118573598B

    公开(公告)日:2024-11-15

    申请号:CN202411029828.X

    申请日:2024-07-30

    Abstract: 本申请公开了一种多出口环境下异常flow日志的识别和纠正方法及系统,涉及数据处理技术,包括:获取以指定字段的形式记录的待识别flow日志;查询具有相同五元组的flow日志的数量;在查询的数量大于第一预设阈值的情况下,对查询到的flow日志计算时间分布间隔的标准差和均值,并确定偏差范围;在所确定的偏范围小于预设偏差阈值的情况下,根据时间戳对查询到的flow日志进行排序,确定是否存在时间间隔大于时间阈值的分割点;若不存在时间间隔大于时间阈值的分割点,删除异常flow日志,将flow日志进行纠正处理。本申请的方法用以对分布式设备生成后的flow日志进行检查识别和纠正,生成准确的flow日志。

    一种基于GPU的视频处理方法

    公开(公告)号:CN107920253B

    公开(公告)日:2020-08-18

    申请号:CN201711047172.4

    申请日:2017-10-31

    Abstract: 本发明公开了一种基于GPU的视频处理方法,涉及音视频处理技术领域。首先从视频数据源端接收视频数据并存储在缓存队列中,依次读取视频数据进行解封装处理;然后对解封装处理后格式为H.264的视频数据,按顺序读取一帧,并解码为YUV格式数据;将解码出来的YUV数据进行内存映射,并转化为NV12格式后,利用视频转码模块再次转换为YUV420p格式;并分别计算YUV420p格式视频数据的Y分量和UV分量的特征值;最后将两个特征值拷贝到CPU侧的系统内存中,并筛选关键帧。筛选出的关键帧利用基于opencl的CPU和GPU之间的内存拷贝技术拷贝到CPU侧的系统内存中,由存储专用线程将关键帧的YUV数存储到文件。本发明实现了视频处理的加速,提升了视频处理的效率,并有效降低了CPU的资源消耗。

    一种基于关键字词频特征的多模式匹配方法

    公开(公告)号:CN105373601B

    公开(公告)日:2019-05-21

    申请号:CN201510755911.X

    申请日:2015-11-09

    Abstract: 本发明提供一种基于关键字词频特征的多模式匹配方法,首先从已知的信息数据库中提取关键字并统计出现频率作为其词频信息,其次采用构造含有关键字词频信息的二叉树完成其中的模式串匹配,在字符匹配过程中若出现字符不相等,则与该不匹配字符所在节点的兄弟节点所含字符进行匹配。其利用信息来源的模式的关键字词频信息构造基于字典树的二叉树完成其中的模式串的匹配,并与AC算法进行了比较。传统的AC算法需要维护三张表,并且在模式匹配过程中会频繁访问这三张表;本发明的一种基于关键字词频特征的多模式匹配方法更多的利用了模式本身的词频信息,并不需要维护过多的信息,这就大大减少了系统的内存消耗。

    一种基于Spark框架进行全文检索的实现方法

    公开(公告)号:CN107943952A

    公开(公告)日:2018-04-20

    申请号:CN201711194929.2

    申请日:2017-11-24

    Abstract: 本发明公开了一种基于Spark框架进行全文检索的实现方法,属于大数据处理领域。该方法首先接收待执行SQL语句,生成语法树并转换成相应的逻辑计划;然后,从Hive中获取检索所有表的元数据,寻找支持全文检索的字段,并通过字段哈希索引对数据块进行初步裁剪;继而,根据查询条件从文件元数据中获取数据块所具体存放的磁盘位置;最后,将逻辑执行计划转换为可分布式执行的任务集合,通过各个数据块位置来确定任务具体执行的目标节点和任务所具体执行的目标进程;对任务进行分发执行,并汇总执行结果,迭代获取最终结果。该方法具有较高的效率,可以快速的完成海量数据的全文检索,在大数据处理领域具有很强的实用性和应用范围,具有很广泛的应用前景。

Patent Agency Ranking