一种隧道报文的处理方法和装置

    公开(公告)号:CN114697160A

    公开(公告)日:2022-07-01

    申请号:CN202011581610.7

    申请日:2020-12-28

    Abstract: 本申请公开了一种隧道报文的处理方法和装置,预设报文处理策略表,存储隧道报文报头特征,报文特征标识和报文处理策略三者间的映射关系,所述方法包括:当接收到待处理隧道报文时,解析出其目标隧道头特征和目标原始报头特征;在第一、二报文处理策略表中分别查找目标隧道头特征和目标原始报头特征对应的第一、二报文特征标识并判断二者是否匹配;若匹配,则根据对应的报文处理策略,处理待处理隧道报文。该方案中增设报文特征标识,以标识策略表中报头特征属于何隧道报文;以目标报头特征为对象,查找第一、二报文特征标识并进行匹配,在二者匹配时,确定查找到两报头特征属于同一隧道报文,从而最终确定处理方式,提高了隧道报文处理的准确性。

    一种基于GraphX的分布式幂迭代聚类方法和装置

    公开(公告)号:CN107480685B

    公开(公告)日:2021-02-23

    申请号:CN201610402954.4

    申请日:2016-06-08

    Abstract: 本发明公开了一种基于GraphX的分布式幂迭代聚类方法和装置。该方法包括:获取分布式存储的多个数据;对所述多个数据分别进行数据清洗,得到多个清洗数据;基于所述多个清洗数据中两两之间的相似度,构建亲和矩阵;基于GraphX,利用设置的随机初始向量对所述亲和矩阵进行迭代处理;利用KMeans++算法,对迭代向量进行聚类处理,并根据处理结果得到所述多个清洗数据的聚类结果。本发明有效地解决了基于图的聚类算法可扩展性不强、计算复杂度高的问题。

    一种Hadoop Yarn网络带宽资源调度、隔离方法和装置

    公开(公告)号:CN107483364A

    公开(公告)日:2017-12-15

    申请号:CN201610404404.6

    申请日:2016-06-08

    CPC classification number: H04L47/76

    Abstract: 本发明公开了一种Hadoop Yarn网络带宽资源调度、隔离方法和装置。该调度方法在RM侧执行,包括:接收AM发送的作业资源请求;所述工作资源请求包括:在作业中,每个任务的网络带宽资源需求量;根据每个所述任务的网络带宽需求量,采用预设的公平调度算法,为每个所述任务对应分配容器;其中,在每个所述容器中封装有对应任务的网络带宽资源分配量。该隔离方法在NM侧执行,包括:从AM获取多个容器;其中,每个所述容器中封装有对应的任务的网络带宽资源分配量;根据各个任务的网络带宽资源分配量,隔离各个任务占用的网络带宽资源。本发明在Yarn集群中增加了对网络带宽资源的调度,而且可以避免各个任务之间由于网络带宽资源的竞争而相互干扰。

    一种基于GraphX的分布式幂迭代聚类方法和装置

    公开(公告)号:CN107480685A

    公开(公告)日:2017-12-15

    申请号:CN201610402954.4

    申请日:2016-06-08

    Abstract: 本发明公开了一种基于GraphX的分布式幂迭代聚类方法和装置。该方法包括:获取分布式存储的多个数据;对所述多个数据分别进行数据清洗,得到多个清洗数据;基于所述多个清洗数据中两两之间的相似度,构建亲和矩阵;基于GraphX,利用设置的随机初始向量对所述亲和矩阵进行迭代处理;利用KMeans++算法,对迭代向量进行聚类处理,并根据处理结果得到所述多个清洗数据的聚类结果。本发明有效地解决了基于图的聚类算法可扩展性不强、计算复杂度高的问题。

    一种界标窗口下域名数据重复检测快速索引方法

    公开(公告)号:CN104794158A

    公开(公告)日:2015-07-22

    申请号:CN201510117236.8

    申请日:2015-03-17

    Abstract: 本发明涉及一种界标窗口下域名数据重复检测快速索引方法。该方法将界标窗口根据子界标分成多个子窗口,通过稳定性布隆过滤器和字典树维护各子窗口的数据项;针对网络数据流自适应地调整索引策略,在数据较为密集时采用稳定性布隆过滤器,在数据相对稀疏时采用字典树索引策略。在域名数据重复检测的适配方面,本发明提出将域名数据翻转,形成重叠前缀字符串比率较高的数据集,有利于后续字典树的快速匹配和存储容量缩减。本发明能够降低索引维护的空间,提升元素重复检测的效率,并能够扩展到分布式场景下,有效解决网络监控应用中域名数据重复检测的问题,同时,本发明可以扩展到分布式计算场景下,便于计算性能线性提升。

Patent Agency Ranking