公开(公告)号：CN119474156B

公开(公告)日：2025-04-22

申请号：CN202510057800.5

申请日：2025-01-14

Applicant: 鹏城实验室

Inventor： 李文军 ,  操璐 ,  肖伟强 ,  梁俊 ,  邹庆胜 ,  张伟哲 ,  张宇

IPC: G06F16/2455 ,  G06F16/215

Abstract: 本申请实施例提供了一种数据持久性估计方法、装置、电子设备、存储介质，属于数据处理技术领域。该方法包括：获取预设时间窗口内的原始数据流，原始数据流包括多个原始数据项，通过突发过滤器分别对每个原始数据项进行去重处理，得到多个目标数据项，针对每个目标数据项，通过冷过滤器获取目标数据项的热度类别，热度类别包括冷数据、温数据或者热数据，若热度类别指示目标数据项为冷数据或者温数据，则通过冷过滤器估计目标数据项的持久性值，若热度类别指示目标数据项为热数据，则通过热存储器估计目标数据项的持久性值，能够提高数据持久性估计的准确性。

公开(公告)号：CN118035309A

公开(公告)日：2024-05-14

申请号：CN202410080484.9

申请日：2024-01-19

Applicant: 鹏城实验室

Inventor： 李文军 ,  操璐 ,  于成晓 ,  梁腾 ,  张宇 ,  杨仝 ,  张伟哲

IPC: G06F16/2458 ,  G06F16/22 ,  G06F16/25

Abstract: 本申请公开了一种数据流测量方法、装置、电子设备及可读存储介质，在检测到数据流时，确定当前数据流的指纹信息；若哈希表中存在第一目标元素，则使第一目标元素对应的计数值增加；若第一目标元素对应的计数值溢出，将第二目标元素的存储内容与第一目标元素的存储内容进行交换。由于第二目标元素用于存储计数值的存储空间大于第一目标元素的计数值的占用空间，且第一目标元素用于存储计数值的存储空间大于第二目标元素的计数值的占用空间，因此将第二目标元素的存储内容与第一目标元素的存储内容进行交换，在进行交换后，则第一目标元素与第二目标元素均不会发生溢出，因此，本申请能够对数据流进行测量，并降低存储开销。

公开(公告)号：CN119474156A

公开(公告)日：2025-02-18

申请号：CN202510057800.5

申请日：2025-01-14

Applicant: 鹏城实验室

Inventor： 李文军 ,  操璐 ,  肖伟强 ,  梁俊 ,  邹庆胜 ,  张伟哲 ,  张宇

IPC: G06F16/2455 ,  G06F16/215

Abstract: 本申请实施例提供了一种数据持久性估计方法、装置、电子设备、存储介质，属于数据处理技术领域。该方法包括：获取预设时间窗口内的原始数据流，原始数据流包括多个原始数据项，通过突发过滤器分别对每个原始数据项进行去重处理，得到多个目标数据项，针对每个目标数据项，通过冷过滤器获取目标数据项的热度类别，热度类别包括冷数据、温数据或者热数据，若热度类别指示目标数据项为冷数据或者温数据，则通过冷过滤器估计目标数据项的持久性值，若热度类别指示目标数据项为热数据，则通过热存储器估计目标数据项的持久性值，能够提高数据持久性估计的准确性。

公开(公告)号：CN119211055A

公开(公告)日：2024-12-27

申请号：CN202411154942.5

申请日：2024-08-21

Applicant: 鹏城实验室

Inventor： 李文军 ,  操璐 ,  张伟哲 ,  张宇

IPC: H04L43/028

Abstract: 本申请实施例提供了一种数据流处理方法、装置、计算机设备及可读存储介质，涉及网络测量领域。方法包括：获取待处理数据流，并从待处理数据流中确定多个待处理元素；通过商余哈希函数对每个待处理元素进行哈希计算，得到待处理元素的商和余数；将待处理元素的商确定为第一桶索引，将余数确定为第一条目索引，并按照第一桶索引从数据存储空间中确定待处理元素的第一哈希桶，按照第一条目索引从第一哈希桶的多个存储条目中确定待处理元素的第一目标条目；在第一目标条目中，更新对应的待处理元素的计数。以此，能够提高对数据流的处理效率和内存的利用率。

公开(公告)号：CN118138483B

公开(公告)日：2024-07-23

申请号：CN202410549165.8

申请日：2024-05-06

Applicant: 鹏城实验室

Inventor： 李文军 ,  操璐 ,  辛遥 ,  张宇 ,  张伟哲

IPC: H04L43/028

Abstract: 本申请实施例提供了一种数据流处理方法、装置、计算机设备及可读存储介质，方法包括：获取待处理数据流的数据指纹，并在多个哈希桶中查询待处理数据流的多个预设层级；每个哈希桶包括多个预设层级，多个预设层级根据对应的存储空间大小关系在对应的哈希桶中呈梯形排列结构；从多个预设层级中确定用于存储待处理数据流第一目标层级，并更新待处理数据流的计数，得到待处理数据流的第一计数值；当第一计数值的存储资源占用量超过第一目标层级的存储空间时，根据每个哈希桶的梯形排列结构确定用于存储待处理数据流的第二目标层级；在第二目标层级中对待处理数据流进行存储。以此，能够在节约存储数据流的内存的同时，提高对数据流识别的准确性。

公开(公告)号：CN118138483A

公开(公告)日：2024-06-04

申请号：CN202410549165.8

申请日：2024-05-06

Applicant: 鹏城实验室

Inventor： 李文军 ,  操璐 ,  辛遥 ,  张宇 ,  张伟哲

IPC: H04L43/028

Abstract: 本申请实施例提供了一种数据流处理方法、装置、计算机设备及可读存储介质，方法包括：获取待处理数据流的数据指纹，并在多个哈希桶中查询待处理数据流的多个预设层级；每个哈希桶包括多个预设层级，多个预设层级根据对应的存储空间大小关系在对应的哈希桶中呈梯形排列结构；从多个预设层级中确定用于存储待处理数据流第一目标层级，并更新待处理数据流的计数，得到待处理数据流的第一计数值；当第一计数值的存储资源占用量超过第一目标层级的存储空间时，根据每个哈希桶的梯形排列结构确定用于存储待处理数据流的第二目标层级；在第二目标层级中对待处理数据流进行存储。以此，能够在节约存储数据流的内存的同时，提高对数据流识别的准确性。