-
公开(公告)号:CN119474156B
公开(公告)日:2025-04-22
申请号:CN202510057800.5
申请日:2025-01-14
Applicant: 鹏城实验室
IPC: G06F16/2455 , G06F16/215
Abstract: 本申请实施例提供了一种数据持久性估计方法、装置、电子设备、存储介质,属于数据处理技术领域。该方法包括:获取预设时间窗口内的原始数据流,原始数据流包括多个原始数据项,通过突发过滤器分别对每个原始数据项进行去重处理,得到多个目标数据项,针对每个目标数据项,通过冷过滤器获取目标数据项的热度类别,热度类别包括冷数据、温数据或者热数据,若热度类别指示目标数据项为冷数据或者温数据,则通过冷过滤器估计目标数据项的持久性值,若热度类别指示目标数据项为热数据,则通过热存储器估计目标数据项的持久性值,能够提高数据持久性估计的准确性。
-
公开(公告)号:CN119383008B
公开(公告)日:2025-03-25
申请号:CN202411852690.3
申请日:2024-12-16
Applicant: 鹏城实验室
IPC: H04L9/40 , H04L43/0876 , H04L43/028
Abstract: 本申请实施例公开一种数据流检测方法、装置、计算机设备及存储介质。其中,通过获取待检测网络中的数据流,确定数据流的五元组信息;根据预设哈希函数确定出数据流的哈希值,确定哈希值在预设哈希桶数组中确定出数据流对应的目标哈希桶;将五元组信息和预设哈希桶数组中已保存五元组信息进行对比得到对比结果,根据对比结果在目标哈希桶中确定出数据流对应的存储位置;确定数据流对应的出现窗口次数和平均网络速率,将数据流对应的出现窗口次数、平均网络速率和五元组信息存储在目标哈希桶的存储位置内,以更新保存的哈希桶数据;根据哈希桶数据确定出平均网络速率和出现窗口次数不满足预设条件的目标数据流,对目标数据流进行网络安全检测。
-
公开(公告)号:CN118035309A
公开(公告)日:2024-05-14
申请号:CN202410080484.9
申请日:2024-01-19
Applicant: 鹏城实验室
IPC: G06F16/2458 , G06F16/22 , G06F16/25
Abstract: 本申请公开了一种数据流测量方法、装置、电子设备及可读存储介质,在检测到数据流时,确定当前数据流的指纹信息;若哈希表中存在第一目标元素,则使第一目标元素对应的计数值增加;若第一目标元素对应的计数值溢出,将第二目标元素的存储内容与第一目标元素的存储内容进行交换。由于第二目标元素用于存储计数值的存储空间大于第一目标元素的计数值的占用空间,且第一目标元素用于存储计数值的存储空间大于第二目标元素的计数值的占用空间,因此将第二目标元素的存储内容与第一目标元素的存储内容进行交换,在进行交换后,则第一目标元素与第二目标元素均不会发生溢出,因此,本申请能够对数据流进行测量,并降低存储开销。
-
公开(公告)号:CN119211055A
公开(公告)日:2024-12-27
申请号:CN202411154942.5
申请日:2024-08-21
Applicant: 鹏城实验室
IPC: H04L43/028
Abstract: 本申请实施例提供了一种数据流处理方法、装置、计算机设备及可读存储介质,涉及网络测量领域。方法包括:获取待处理数据流,并从待处理数据流中确定多个待处理元素;通过商余哈希函数对每个待处理元素进行哈希计算,得到待处理元素的商和余数;将待处理元素的商确定为第一桶索引,将余数确定为第一条目索引,并按照第一桶索引从数据存储空间中确定待处理元素的第一哈希桶,按照第一条目索引从第一哈希桶的多个存储条目中确定待处理元素的第一目标条目;在第一目标条目中,更新对应的待处理元素的计数。以此,能够提高对数据流的处理效率和内存的利用率。
-
公开(公告)号:CN119474156A
公开(公告)日:2025-02-18
申请号:CN202510057800.5
申请日:2025-01-14
Applicant: 鹏城实验室
IPC: G06F16/2455 , G06F16/215
Abstract: 本申请实施例提供了一种数据持久性估计方法、装置、电子设备、存储介质,属于数据处理技术领域。该方法包括:获取预设时间窗口内的原始数据流,原始数据流包括多个原始数据项,通过突发过滤器分别对每个原始数据项进行去重处理,得到多个目标数据项,针对每个目标数据项,通过冷过滤器获取目标数据项的热度类别,热度类别包括冷数据、温数据或者热数据,若热度类别指示目标数据项为冷数据或者温数据,则通过冷过滤器估计目标数据项的持久性值,若热度类别指示目标数据项为热数据,则通过热存储器估计目标数据项的持久性值,能够提高数据持久性估计的准确性。
-
公开(公告)号:CN113762424A
公开(公告)日:2021-12-07
申请号:CN202111316999.7
申请日:2021-11-09
Applicant: 鹏城实验室
IPC: G06K9/62
Abstract: 本申请公开了一种比特选位决策树的均衡方法、网络包分类方法及相关装置,方法包括确定目标分类规则集的选位比特数;基于选位比特数对目标分类规则集建立候选决策树;对候选决策树中的各大叶节点进行筛选,以得到目标分类规则集对应的决策树及参考分类规则集;将参考分类规则集作为目标分类规则集并继续执行建立候选决策树的步骤直至候选决策树未包括大叶节点,以得到目标分类规则集的若干决策树。本申请通过对大叶节点进行统计,并对大叶节点包括的分类规则进行汇总及以递归的方法建立若干决策树直到所有的决策树都不存在大叶节点,这样可以使得每个决策树内的分类规则都分布均匀,减小决策树的搜索延迟,进而可以提高网络包的分类速度。
-
公开(公告)号:CN118138483B
公开(公告)日:2024-07-23
申请号:CN202410549165.8
申请日:2024-05-06
Applicant: 鹏城实验室
IPC: H04L43/028
Abstract: 本申请实施例提供了一种数据流处理方法、装置、计算机设备及可读存储介质,方法包括:获取待处理数据流的数据指纹,并在多个哈希桶中查询待处理数据流的多个预设层级;每个哈希桶包括多个预设层级,多个预设层级根据对应的存储空间大小关系在对应的哈希桶中呈梯形排列结构;从多个预设层级中确定用于存储待处理数据流第一目标层级,并更新待处理数据流的计数,得到待处理数据流的第一计数值;当第一计数值的存储资源占用量超过第一目标层级的存储空间时,根据每个哈希桶的梯形排列结构确定用于存储待处理数据流的第二目标层级;在第二目标层级中对待处理数据流进行存储。以此,能够在节约存储数据流的内存的同时,提高对数据流识别的准确性。
-
公开(公告)号:CN118138483A
公开(公告)日:2024-06-04
申请号:CN202410549165.8
申请日:2024-05-06
Applicant: 鹏城实验室
IPC: H04L43/028
Abstract: 本申请实施例提供了一种数据流处理方法、装置、计算机设备及可读存储介质,方法包括:获取待处理数据流的数据指纹,并在多个哈希桶中查询待处理数据流的多个预设层级;每个哈希桶包括多个预设层级,多个预设层级根据对应的存储空间大小关系在对应的哈希桶中呈梯形排列结构;从多个预设层级中确定用于存储待处理数据流第一目标层级,并更新待处理数据流的计数,得到待处理数据流的第一计数值;当第一计数值的存储资源占用量超过第一目标层级的存储空间时,根据每个哈希桶的梯形排列结构确定用于存储待处理数据流的第二目标层级;在第二目标层级中对待处理数据流进行存储。以此,能够在节约存储数据流的内存的同时,提高对数据流识别的准确性。
-
公开(公告)号:CN113762424B
公开(公告)日:2022-02-01
申请号:CN202111316999.7
申请日:2021-11-09
Applicant: 鹏城实验室
IPC: G06K9/62
Abstract: 本申请公开了一种网络包分类方法及相关装置,方法包括确定目标分类规则集的选位比特数;基于选位比特数对目标分类规则集建立候选决策树;对候选决策树中的各大叶节点进行筛选,以得到目标分类规则集对应的决策树及参考分类规则集;将参考分类规则集作为目标分类规则集并继续执行建立候选决策树的步骤直至候选决策树未包括大叶节点,以得到目标分类规则集的若干决策树。本申请通过对大叶节点进行统计,并对大叶节点包括的分类规则进行汇总及以递归的方法建立若干决策树直到所有的决策树都不存在大叶节点,这样可以使得每个决策树内的分类规则都分布均匀,减小决策树的搜索延迟,进而可以提高网络包的分类速度。
-
公开(公告)号:CN119449746A
公开(公告)日:2025-02-14
申请号:CN202411514304.X
申请日:2024-10-28
Applicant: 鹏城实验室
Abstract: 本申请实施例提供数据处理系统、数据处理方法、可编程交换机及介质,涉及通信技术领域。该数据处理系统中可编程交换机接收数据输入模块的待处理数据包和控制模块的数据流表,对待处理数据包进行预处理,或将待处理数据包传输至根据数据流表选取的数据处理模块;数据处理模块对待处理数据包进行数据处理得到数据处理结果,并将自身的资源状态数据并发送至控制模块来更新数据流表。在基于可编程交换机的数据处理过程中,控制模块根据当前获取的资源状态数据对数据流表进行自适应快速调整,在数据处理过程依据最新的数据流表及时感知和规避可能出现的数据风险,快速处理异常问题,提升整体的数据处理效率。
-
-
-
-
-
-
-
-
-