报文处理方法、分布式转发系统及相关设备

    公开(公告)号:CN116489083A

    公开(公告)日:2023-07-25

    申请号:CN202210036849.9

    申请日:2022-01-13

    Abstract: 本申请实施例公开了报文处理方法、分布式转发系统及相关设备,用于实现大规模表项的扩展。本申请实施例方法应用于第一网络设备,方法包括:获取第一报文的第一目的地址;根据目录表,确定第一目的地址对应的第一设备编号,目录表包括至少一个目的地址与至少一个编号之间的对应关系,第一设备编号指示第一报文的出口网络设备为第二网络设备;向第一设备编号对应的第二网络设备发送第一报文,以使第二网络设备根据第一目的地址查询第一局部表,确定第一报文的第一出接口。

    流统计方法、装置及系统
    42.
    发明公开

    公开(公告)号:CN116471194A

    公开(公告)日:2023-07-21

    申请号:CN202210195673.1

    申请日:2022-03-01

    Inventor: 曲迪 张亚丽 杨仝

    Abstract: 本申请提供了一种流统计方法、装置及系统,属于通信技术领域。本申请提供的方案中,网络设备根据目标报文所属数据流的目标流标识,得到目标流索引和目标地址索引。之后,网络设备根据目标流索引更新该目标地址索引指示的多个存储单元中第一存储单元中的流索引和/或报文计数值,并基于更新后的第一存储单元中的报文计数值,统计目标报文所属数据流的流量。在上述流量统计的过程中,网络设备无需向控制设备上报采样报文,因此有效提高了流统计的效率,且不会占用控制设备的存储空间。进一步地,目标流索引可以通过映射函数处理目标流标识得到,因此可以减少流索引对存储空间的占用。

    一种实时查找持续且低频元素的方法、APT攻击检测方法和FRP检测方法

    公开(公告)号:CN115529149A

    公开(公告)日:2022-12-27

    申请号:CN202111479997.X

    申请日:2021-12-06

    Applicant: 北京大学

    Abstract: 本发明涉及一种实时查找持续且低频元素的方法、APT攻击检测方法和FRP检测方法。该方法建立基于Sketch的紧凑数据结构PISketch,其第一部分是布隆过滤器,第二部分是带有若干个桶的哈希表;第一部分查询某个元素是否第一次出现在当前时间窗口,第二部分根据第一部分的查询结果计算每个元素的权重:当该元素第一次出现在当前时间窗口中时,增加该元素在当前窗口的权重作为奖励;当该元素在同一个时间窗口中超过第二次出现时,降低该元素的权重作为惩罚;提取总权重大于用户设置的阈值的元素作为持续且低频性元素输出。本发明实现了准确而高效地查找持续且低频性元素,在高处理速度的同时只需要很小的数据结构内存占用,能够用于APT攻击检测和FRP检测等场景。

    一种实时数据流查找周期性元素的方法和装置

    公开(公告)号:CN115525643A

    公开(公告)日:2022-12-27

    申请号:CN202111479990.8

    申请日:2021-12-06

    Applicant: 北京大学

    Inventor: 杨仝 樊卓宸

    Abstract: 本发明涉及一种实时数据流查找周期性元素的方法和装置。该方法建立基于Sketch的紧凑数据结构为PeriodicSketch,其包括两部分:Cover‑Min sketch和GSU sketch;使用Cover‑Min sketch记录和报告传入元素的时间间隔,使用GSU sketch记录和报告top‑K最有潜力的周期性元素。本发明通过使用紧凑数据结构PeriodicSketch,只需要极小的内存消耗,就可以以实时在高速的数据流中很准确地查找出所有的周期性元素,然后用户可根据自己的需求去挑选出对应的时间间隔的元素,可以用于Cache预取、检测高级持续性威胁、流量预测/分类、金融交易和用户购买等领域。

    流量测量方法、装置及相关设备
    45.
    发明公开

    公开(公告)号:CN115396345A

    公开(公告)日:2022-11-25

    申请号:CN202110573832.2

    申请日:2021-05-25

    Abstract: 本申请提供一种流量测量方法、装置及相关设备,其中,方法包括:服务端接收与其连接的转发网元发送的报文并获取流量存储表,其中,报文包括数据流的标识和多个转发网元处理报文的信息,流量存储表用于存储数据流中报文的数量,然后服务端根据数据流的标识和多个转发网元处理报文的信息,将数据流中报文的数量统计到流量存储表,得到更新后的流量存储表,最后,服务端向流量分析设备发送更新后的流量存储表。该方法能够解决现有技术存在的测量的链路信息不完整的问题以及会消耗大量带宽资源和计算资源的问题。

    基于范围简图的有序链表快速查询方法和装置

    公开(公告)号:CN112632087B

    公开(公告)日:2022-10-14

    申请号:CN202110035396.3

    申请日:2021-01-12

    Applicant: 北京大学

    Inventor: 赵义凯 杨仝

    Abstract: 本发明涉及一种基于范围简图的有序链表快速查询方法和装置。将有序链表切分为多个首尾相连的链表段,通过使用两个紧凑数据结构Buckets Array(桶数组)和Range Sketch(范围简图),可以快速定位待查询的键值所对应的结点必然存在于一个常数长度的链表段上,保证了查询结果可以在访问常数个结点之后给出,提升了有序链表查询的速度。通过调整RangeSketch中单元数组的长度和使用的哈希函数的个数,可以灵活地处理查询速度和内存占用之间的平衡,兼顾内存使用的高效率和键值查询的高性能。

    基于连接简图的数据库连接基数估计方法和系统

    公开(公告)号:CN114625760A

    公开(公告)日:2022-06-14

    申请号:CN202210137615.3

    申请日:2022-02-15

    Abstract: 本发明涉及一种基于连接简图的数据库连接基数估计方法和系统。该方法的步骤包括:利用元素过滤器,将数据库表中的元素分为热元素与冷元素;将热元素存储至热元素表中,将冷元素存储至冷元素Sketch中;分别计算两个数据库表的热元素表的连接基数、冷元素Sketch的连接基数以及热元素表和冷元素Sketch的连接基数,并相加,得到对该两个数据库表的连接基数的估计结果。本发明通过将热元素和冷元素分离,可以提高对数据库连接基数估计的精度,且算法的时间和空间开销都有所下降;精确的连接基数估计,有利于数据库管理系统给出最佳的连接顺序,从而提升数据库复杂查询的性能。

    一种流滑动窗口的数据存储方法及查询方法

    公开(公告)号:CN110532307B

    公开(公告)日:2022-05-03

    申请号:CN201910623453.2

    申请日:2019-07-11

    Applicant: 北京大学

    Inventor: 杨仝

    Abstract: 本发明公开了一种流滑动窗口的数据存储方法及查询方法。数据存储方法,适用于利用m个桶、k个哈希函数进行数据存储的数据结构,其特征在于,首先为数据结构的每个桶中分配一定内存,来记录存入对应桶中元素的时间戳;然后每当一个新的元素被哈希函数映射进一个桶,如果该桶是空的,则用该桶存储该元素,并在该桶对应的内存中写入该元素的时间戳;若该桶已有元素,则按照预设操作对桶内元素和对应时间戳进行更新。当查找元素y是否在距离现在之前的时刻w之后存储过,则将元素y映射到的k个位置存储的时间戳;如果这k个位置有时间戳早于w或者为0,则判定未存储过元素y;如果k个位置的时间戳都大于w,则判定存储过元素y。

    一种基于矩阵哈希的数据存储和查询方法

    公开(公告)号:CN108287840B

    公开(公告)日:2022-05-03

    申请号:CN201710014205.9

    申请日:2017-01-09

    Applicant: 北京大学

    Abstract: 本发明涉及一种基于矩阵哈希的数据存储和查询方法。该方法包括:1)建立哈希表数据结构,其包含z个子表,z是偶数,各子表的大小等差递减;对于将第i个子表和第z‑i+1个子表结合,得到个大小相等的子表;2)建立辅助数据结构,其包含与所述z个子表对应的z个布隆过滤器,各布隆过滤器的大小等差递减;对于将第i个布隆过滤器和第z‑i+1个布隆过滤器结合,得到个大小相等的布隆过滤器;然后将该个布隆过滤器的对应比特追加在一起,形成1个多比特布隆过滤器;3)利用所述哈希表数据结构和所述辅助数据结构插入键值对,实现数据存储。本发明能够实现快速更新和快速查询。

    基于动态次优最小生成树的知识图谱数据挖掘与推荐方法

    公开(公告)号:CN113626678A

    公开(公告)日:2021-11-09

    申请号:CN202010372955.5

    申请日:2020-05-06

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于动态次优最小生成树的知识图谱数据挖掘与推荐方法,其步骤为:1)根据查询条件对应的子图,在知识图谱进行同构子图匹配,得到若干查询结果;然后将每一查询结果抽象为一个结点;2)将每一查询结果的重要程度作为该查询结果中各个实体的重要程度之和作为对应结点的权值,以查询结果之间的相异程度作为边权值,构建查询结果的最小生成树;3)对该最小生成树中的边进行切割,形成多个不同的连通分支,每个连通分支分别返回该连通分支中重要程度最高的结点作为查询结果输出。本发明可以同时兼顾推进内容的重要性与多样性的方法,而且能够减少用户的等待时间。

Patent Agency Ranking