-
公开(公告)号:CN113297430B
公开(公告)日:2022-08-05
申请号:CN202110588731.2
申请日:2021-05-28
Applicant: 北京大学
IPC: G06F16/901 , G06F16/903 , H04L43/0876
Abstract: 本发明涉及一种基于Sketch的高性能任意部分键测量方法和系统。该方法包括:从每个数据包中提取全键及其大小,并将其哈希映射到sketch中每个数组的一个存储桶中;使用全键更新每个映射到的存储桶,并基于随机方差最小化技术确定全键的估计大小;基于数据平面中的sketch构建一个包含所有全键及其估计大小的查询表;在查询部分键时,在控制平面中聚合每个部分键对应的全键集合,得到部分键的估计大小。本发明在任意部分键测量任务上实现了很高的准确度,可以在较小的内存空间实现高速的运行,同时所测的部分键数量对系统性能无明显影响;通过增加硬件并行性和消除循环依赖,本发明得以在软件平台和硬件平台都能够实现且性能优异。
-
公开(公告)号:CN110830322B
公开(公告)日:2021-07-06
申请号:CN201910869952.X
申请日:2019-09-16
Applicant: 北京大学
Abstract: 本发明涉及一种基于近似零误差的概率测量数据结构Sketch的网络流量测量方法和系统。该方法设立用于存储小流信息的CM‑Sketch数据结构和用于存储标号的数据结构;在网络流量测量过程中更新表项时,首先更新CM‑Sketch,然后基于对CM‑Sketch的观察来对存储标号的数据结构进行更新。在插入一条新的流的信息时,同时在设计的用于存储标号的数据结构中保存其标号信息以及时间戳;而在需要复原流量信息时,可根据该数据结构中存储的标号,求解方程组,得到精确的流量信息。本发明在未使得算法时间复杂度有较明显提升的前提下,解决了Elastic Sketch针对小流信息查询准确性不足的缺陷,并且能够支持瞬时查询。
-
公开(公告)号:CN112632087A
公开(公告)日:2021-04-09
申请号:CN202110035396.3
申请日:2021-01-12
Applicant: 北京大学
IPC: G06F16/22 , G06F16/2455
Abstract: 本发明涉及一种基于范围简图的有序链表快速查询方法和装置。将有序链表切分为多个首尾相连的链表段,通过使用两个紧凑数据结构Buckets Array(桶数组)和Range Sketch(范围简图),可以快速定位待查询的键值所对应的结点必然存在于一个常数长度的链表段上,保证了查询结果可以在访问常数个结点之后给出,提升了有序链表查询的速度。通过调整RangeSketch中单元数组的长度和使用的哈希函数的个数,可以灵活地处理查询速度和内存占用之间的平衡,兼顾内存使用的高效率和键值查询的高性能。
-
公开(公告)号:CN108460030A
公开(公告)日:2018-08-28
申请号:CN201710086782.9
申请日:2017-02-17
Applicant: 北京大学
IPC: G06F17/30
Abstract: 本发明涉及一种基于改进的布隆过滤器的集合元素判断方法。该方法在布隆过滤器中插入或查询元素x时,首先计算哈希函数h(x),然后求得一个中间结果G,进而利用中间结果G计算得到所需的k个地址值,如果是插入,将这k个地址值处的比特设为1;若是查询,则检查是否所有地址处的比特都为1,若是则表示元素在该集合中出现,否则表示没有出现过。本发明提供的布隆过滤器的改进方案,可以只计算一次哈希函数,之后再通过高速的位运算,得到所需的所有地址值,从而在较短的时间内完成对集合元素的判断。
-
公开(公告)号:CN108304404A
公开(公告)日:2018-07-20
申请号:CN201710022519.3
申请日:2017-01-12
Applicant: 北京大学
IPC: G06F17/30
Abstract: 本发明涉及一种基于改进的Sketch结构的数据频率估计方法。该方法在片内内存设置用于快速查询的第一sketch数据结构,在片外内存设置用于支持插入操作的第二sketch数据结构和用于支持删除操作的第三sketch数据结构;在进行查询操作时,仅查询第一sketch数据结构,得到数据出现频率的估计值;在进行插入操作和删除操作时,通过第二sketch数据结构和第三sketch数据结构辅助第一sketch数据结构中计数的更新。本发明能够在占用片上存储空间不变、查询速率不降低且支持删除操作的前提下,显著提升sketch计数的精确度。
-
公开(公告)号:CN119996264A
公开(公告)日:2025-05-13
申请号:CN202510171850.6
申请日:2025-02-17
Applicant: 北京大学
IPC: H04L43/0876 , H04L69/22 , H04L41/142 , H04L41/14
Abstract: 本申请提供了一种网络流量监测方法、装置、电子设备及存储介质。本申请的方法应用于网络流量监测装置(包括统计模块),统计模块中包括用于统计第一类流量的键值表和用于统计第二类流量的计数‑最小概图,第一类流量大于第二类流量。本申请的方法包括:根据待监测的各个数据包的头部信息确定各个数据包对应的流量特征;对流量特征进行哈希计算,得到各数据包对应的哈希特征;根据哈希特征和流量特征,将各数据包对应的流量信息存储至键值表或计数‑最小概图;根据键值表或计数‑最小概图中的统计信息确定网络流量。本申请可避免因数据流的高度倾斜特性而存在的空间资源浪费,还可防止漏掉与网络流量相关的有效信息,提升流量监测结果的准确性。
-
公开(公告)号:CN119071230A
公开(公告)日:2024-12-03
申请号:CN202310637237.X
申请日:2023-05-31
Abstract: 本申请公开了传输数据的方法、装置、设备、系统、介质及程序产品,属于通信技术领域。在包括控制器和至少两个网络设备的通信系统中,存在至少两个第一业务,一个第一业务的第一状态信息用于指示该第一业务在第一时间片结束之后的传输情况。控制器先根据各个第一业务的第一状态信息从至少两个第一业务中确定出至少一个第二业务,再确定各个第二业务对应的路由信息,通过向第二业务的源网络设备发送第二业务对应的路由信息,使得第二业务的源网络设备在位于第一时间片之后的第二时间片内,按照该第二业务对应的路由信息向第二业务的目的网络设备传输第二业务的业务数据。本申请能够提高数据传输过程中的有效带宽利用率,进而提高数据传输效率。
-
公开(公告)号:CN118972273A
公开(公告)日:2024-11-15
申请号:CN202411039355.1
申请日:2024-07-31
IPC: H04L43/08 , H04L43/062
Abstract: 本公开涉及基于Sketch的流量处理方法、流量结果查询方法及装置,上述方法包括:对待检测流量分别进行包粒度和字节粒度的数据统计;将所述包粒度的数据统计结果插入到所述可编程交换机的Sketch存储空间,并通过压缩和概率补偿方式将所述字节粒度的数据统计结果插入到所述可编程交换机的Sketch存储空间;其中,所述压缩和概率补偿方式用于对所述字节粒度的数据统计结果进行数量级转换。由于压缩和概率补偿方式能够降低字节粒度的数据统计结果的数量级,并且还可以保证字节粒度的数据统计结果的精度,这样可以实现同时准确的对包粒度的数据统计和字节粒度的数据统计。
-
公开(公告)号:CN114625760B
公开(公告)日:2024-09-03
申请号:CN202210137615.3
申请日:2022-02-15
Applicant: 北京大学 , 中兴通讯股份有限公司
IPC: G06F16/2453 , G06F16/25
Abstract: 本发明涉及一种基于连接简图的数据库连接基数估计方法和系统。该方法的步骤包括:利用元素过滤器,将数据库表中的元素分为热元素与冷元素;将热元素存储至热元素表中,将冷元素存储至冷元素Sketch中;分别计算两个数据库表的热元素表的连接基数、冷元素Sketch的连接基数以及热元素表和冷元素Sketch的连接基数,并相加,得到对该两个数据库表的连接基数的估计结果。本发明通过将热元素和冷元素分离,可以提高对数据库连接基数估计的精度,且算法的时间和空间开销都有所下降;精确的连接基数估计,有利于数据库管理系统给出最佳的连接顺序,从而提升数据库复杂查询的性能。
-
公开(公告)号:CN117459588A
公开(公告)日:2024-01-26
申请号:CN202210840086.3
申请日:2022-07-18
IPC: H04L67/5682 , H04L43/04
Abstract: 一种数据流的处理方法、装置、存储介质及芯片系统,涉及通信技术领域,用于减少数据结构占用的存储空间。数据处理装置确定数据报文对应的流标识在数据结构中对应的存储位置,根据流标识更新存储位置的存储信息。数据结构为sketch数据结构,存储位置的存储信息包括标识值,数据处理装置可以将流标识与标识值的和的取模值,作为更新后的标识值。由于数据处理装置可以根据数据报文的流标识更新所述存储位置的存储信息,而网络中数据流的数量小于网络中数据报文的数量,因此该数据结构占用较少的内存资源的情况下,也可以减轻哈希冲突的情况,可见,本申请可以减少数据结构占用的内存资源。
-
-
-
-
-
-
-
-
-