-
公开(公告)号:CN108304409B
公开(公告)日:2021-11-16
申请号:CN201710024141.0
申请日:2017-01-13
Applicant: 北京大学
IPC: G06F16/2455
Abstract: 本发明涉及一种基于进位的Sketch数据结构的数据频度估计方法。该方法包括:1)建立Sketch数据结构,其为由计数器组成的二维数组,其中每一个位置都是一个n位的计数器,在计数器的n位空间中设立标记位和计数位;2)在进行更新操作时,通过哈希函数将数据项映射到所述二维数组中,在映射过程中通过计数位进行计数,并在计数位达到其上限时使用标记位进行进位;3)在进行查询操作时,返回二维数组中每行的查询值中的最小值,作为查询结果。该方法可以采用固定标记位的方式或者多级动态标记位的方式。本发明能够在计数器大小不变的情况下使计数上限显著提升,能够提升计数的准确程度。
-
公开(公告)号:CN113225227A
公开(公告)日:2021-08-06
申请号:CN202110479753.5
申请日:2021-04-30
Applicant: 北京大学
IPC: H04L12/26
Abstract: 本发明涉及一种兼顾简单性与准确性的基于简图的网络测量方法和装置。本发明沿用了经典简图的思想,没有额外记录流ID等辅助信息,而是通过自动平衡的方法进行分流操作;本发明的简图TowerSketch有多层,每层计数器大小不同,但内存相同,通过适当的更新策略实现将小流记录在小计数器中,大流记录在大计数器中。本发明实现了简图简单性和准确性的兼顾,并提供了压缩及序列化方法以便于实际部署,在显著流检测、显著变化检测、流量分布估计、流量熵估计、流数估计等任务中,均可以取得较高的准确度,同时本发明保留了经典简图的简单性,可以在FPGA和可编程交换机上实现。
-
公开(公告)号:CN110535825B
公开(公告)日:2020-08-14
申请号:CN201910640585.6
申请日:2019-07-16
Applicant: 北京大学
IPC: H04L29/06 , H04L12/851
Abstract: 本发明公开了一种特征网络流的数据识别方法。本方法为:采用sketch数据结构存储网络流信息,其中,将sketch数据结构中的桶分为m组,每组包括k个桶;使用一哈希函数将当前要存储的网络流的编号作为自变量,映射成一个值,作为该网络流的存储地址,每组桶分别对应一个存储地址,桶内存储网络流的信息包括:流的编号ID、流出现的时间窗口的数量、流的数据包总量和流上一次出现的时间窗口编号;对整个sketch数据结构进行遍历,对于所有不空的桶,如果该桶内存储的总窗口数大于或等于窗口阈值W、且总数据包数小于或等于数据包阈值F,则将该桶内的编号ID对应的网络流判定为特征流。
-
公开(公告)号:CN108304409A
公开(公告)日:2018-07-20
申请号:CN201710024141.0
申请日:2017-01-13
Applicant: 北京大学
IPC: G06F17/30
Abstract: 本发明涉及一种基于进位的Sketch数据结构的数据频度估计方法。该方法包括:1)建立Sketch数据结构,其为由计数器组成的二维数组,其中每一个位置都是一个n位的计数器,在计数器的n位空间中设立标记位和计数位;2)在进行更新操作时,通过哈希函数将数据项映射到所述二维数组中,在映射过程中通过计数位进行计数,并在计数位达到其上限时使用标记位进行进位;3)在进行查询操作时,返回二维数组中每行的查询值中的最小值,作为查询结果。该方法可以采用固定标记位的方式或者多级动态标记位的方式。本发明能够在计数器大小不变的情况下使计数上限显著提升,能够提升计数的准确程度。
-
公开(公告)号:CN108287840A
公开(公告)日:2018-07-17
申请号:CN201710014205.9
申请日:2017-01-09
Applicant: 北京大学
IPC: G06F17/30
Abstract: 本发明涉及一种基于矩阵哈希的数据存储和查询方法。该方法包括:1)建立哈希表数据结构,其包含z个子表,z是偶数,各子表的大小等差递减;对于 将第i个子表和第z-i+1个子表结合,得到个大小相等的子表;2)建立辅助数据结构,其包含与所述z个子表对应的z个布隆过滤器,各布隆过滤器的大小等差递减;对于 将第i个布隆过滤器和第z-i+1个布隆过滤器结合,得到个大小相等的布隆过滤器;然后将该个布隆过滤器的对应比特追加在一起,形成1个多比特布隆过滤器;3)利用所述哈希表数据结构和所述辅助数据结构插入键值对,实现数据存储。本发明能够实现快速更新和快速查询。
-
-
公开(公告)号:CN120011695A
公开(公告)日:2025-05-16
申请号:CN202411945551.5
申请日:2024-12-27
Applicant: 北京大学
IPC: G06F17/16 , G06V10/762 , G06T9/00 , G06T7/10
Abstract: 本发明属于信息技术领域,具体涉及一种滑动栅栏乘积量化方法和装置。该方法包括:获取将输入的N个D维向量视为N×D矩阵并进行初始分割,得到小值矩阵、大值矩阵、指示矩阵;然后进行递归分割,将递归分割后得到的小值矩阵、大值矩阵合并成一个新的矩阵,并通过滑窗的方式划分子空间;在各个子空间内执行K‑means聚类,将簇中心作为码本对子空间内的所有向量进行编码;通过Count‑min操作得到每一个元素的最终编码,合并后得到量化结果。本发明实现了乘积量化算法的改进和优化,可在保证精度的前提下有效减小内存开销,可广泛应用于大语言模型权重量化、向量数据库管理、KV缓存优化、图压缩、图像压缩等需要高效矩阵量化的领域。
-
公开(公告)号:CN119966906A
公开(公告)日:2025-05-09
申请号:CN202311480005.4
申请日:2023-11-08
Applicant: 北京大学
IPC: H04L47/215 , H04L43/062 , H04L43/0894
Abstract: 本发明公开了一种基于sketch优化的流量监管方法、装置及设备。所述方法包括:对使用skecth数据结构的计数器和网络映射器初始化;基于所述网络映射器,将一网络流映射到对应的计数器,并检查所述对应的计数器的值;其中,所述对应的计数器的值代表该对应的计数器当前拥有的令牌数量;根据所述对应的计数器的值,对所述网络流执行相应的操作,并更新所述对应的计数器的值;基于所有计数器的当前值,获取各网络流的当前状态和速率。本发明使得每个流量都可以得到公平和精确的管理的同时,还可以节省大量的存储空间和计算资源。
-
公开(公告)号:CN118555221A
公开(公告)日:2024-08-27
申请号:CN202410498999.0
申请日:2024-04-24
Applicant: 北京大学
Abstract: 本发明涉及一种基于SpeedSketch的可扩展流中超速项检测方法和系统。该方法的步骤包括:当数据流中的一个数据项到达时,进行SpeedSketch的插入过程,更新SpeedSketch中的桶的使用值,并获取最小的使用值MinUsage;根据最小的使用值MinUsage判断当前数据项是否为超速项。本发明包括SpeedSketch的基础版、进阶版以及两种拓展。为了满足在数据流场景下快速、内存节约、高准确率地检测超速项,本发明提出的数据结构可以在理论上保证高准确率的情况下,快速地检测数据流中的超速项,并大大节省了内存,具有很强的可扩展性,可以应用于多平台以及多种规模的数据流。
-
公开(公告)号:CN117319275A
公开(公告)日:2023-12-29
申请号:CN202210912607.1
申请日:2022-07-30
Abstract: 本申请提供了一种测量方法及相关设备,用于在处理数据流的过程中,网络设备无需中止当前的网络流量,就可以基于获取的键(key)和/或属性(attribute)所确定测量任务的资源对数据流进行测量,避免网络流量对应的业务不连续,以期提升网络的通信效率。在该方法中,网络设备在处理数据流的过程中,该网络设备获取测量任务的键和/或属性,其中,键指示该数据流的标识,属性指示对该数据流的测量信息的操作;该网络设备基于该键和/或属性确定该测量任务的计算资源和存储资源;该网络设备基于该计算资源和存储资源对该数据流进行测量。
-
-
-
-
-
-
-
-
-