一种Hadoop Yarn网络带宽资源调度、隔离方法和装置

    公开(公告)号:CN107483364A

    公开(公告)日:2017-12-15

    申请号:CN201610404404.6

    申请日:2016-06-08

    CPC classification number: H04L47/76

    Abstract: 本发明公开了一种Hadoop Yarn网络带宽资源调度、隔离方法和装置。该调度方法在RM侧执行,包括:接收AM发送的作业资源请求;所述工作资源请求包括:在作业中,每个任务的网络带宽资源需求量;根据每个所述任务的网络带宽需求量,采用预设的公平调度算法,为每个所述任务对应分配容器;其中,在每个所述容器中封装有对应任务的网络带宽资源分配量。该隔离方法在NM侧执行,包括:从AM获取多个容器;其中,每个所述容器中封装有对应的任务的网络带宽资源分配量;根据各个任务的网络带宽资源分配量,隔离各个任务占用的网络带宽资源。本发明在Yarn集群中增加了对网络带宽资源的调度,而且可以避免各个任务之间由于网络带宽资源的竞争而相互干扰。

    一种基于GraphX的分布式幂迭代聚类方法和装置

    公开(公告)号:CN107480685A

    公开(公告)日:2017-12-15

    申请号:CN201610402954.4

    申请日:2016-06-08

    Abstract: 本发明公开了一种基于GraphX的分布式幂迭代聚类方法和装置。该方法包括:获取分布式存储的多个数据;对所述多个数据分别进行数据清洗,得到多个清洗数据;基于所述多个清洗数据中两两之间的相似度,构建亲和矩阵;基于GraphX,利用设置的随机初始向量对所述亲和矩阵进行迭代处理;利用KMeans++算法,对迭代向量进行聚类处理,并根据处理结果得到所述多个清洗数据的聚类结果。本发明有效地解决了基于图的聚类算法可扩展性不强、计算复杂度高的问题。

    WEB木马检测方法及系统
    24.
    发明授权

    公开(公告)号:CN107463844B

    公开(公告)日:2020-08-25

    申请号:CN201610393383.2

    申请日:2016-06-06

    Abstract: 本发明公开了一种WEB木马检测方法及系统,用以克服利用静态匹配方式检测的漏检以及动态检测效率低的缺陷,及实现对隐藏在重定向链以及混淆页面中的木马的检测的问题。所述方法包括:选取重定向链特征和页面统计特征作为网页木马检测的分类特征;获取样本集,所述样本集包括多个正样本和多个负样本;提取每个样本的分类特征值,并基于提取的每个分类特征值对所述样本集进行网页木马分类训练,得到分类模型;提取待测网页的分类特征值,将提取的待测网页分类特征值输入到所述分类模型中对所述待测网页进行分类检测。

    一种任务分配方法及系统
    25.
    发明公开

    公开(公告)号:CN107479963A

    公开(公告)日:2017-12-15

    申请号:CN201610404246.4

    申请日:2016-06-08

    CPC classification number: G06F9/5027 G06F9/4843

    Abstract: 本发明公开了一种任务分配方法及系统,本发明通过控制服务器向各分布式控制子服务器等任务分发实现域间任务分发管理;通过每个分布式控制子服务器内部的任务服务器完成在域内对任务的分发管理;为了保证任务完成的成功性与准确性,控制服务器通过将单个任务分发至多个分布式验证服务器完成提交结果后决策验证任务,实现域间任务的验证管理。提高了任务分配的及时性与高效性,从而提升了服务器运行效率。

    一种网络数据交互方法及装置

    公开(公告)号:CN107483384B

    公开(公告)日:2020-07-14

    申请号:CN201610404248.3

    申请日:2016-06-08

    Abstract: 本发明公开了一种网络数据交互方法及装置,本发明对从网络侧获取的网络数据进行分类,并对分类后的网络数据完成相应的处理后,通过共享内存的方式与后端BT系统进行数据交互,从而解决了相关技术中大规模的动态接入的连接的管理方法效率较低的问题,提高了系统运行效率,提升了服务器的性能。

    一种从微信中发现特定领域微信公众号的方法

    公开(公告)号:CN109284431A

    公开(公告)日:2019-01-29

    申请号:CN201810901757.6

    申请日:2018-08-09

    Abstract: 本发明涉及一种从微信中发现特定领域微信公众号的方涉,属于数据挖掘技术领域。所述方法包括:关联已知特定领域微信公众号的账号主体、搜索微信公众号的账号信息和文章信息,生成候选特定领域微信公众号列表,利用构建的待发现特定领域文章分类模型对其文章信息进行判断,确保其文章内容和特定领域相关,完成从微信中发现特定领域微信公众号。本发明方法解决了微信公众号账号信息和文章内容不符的问题,扩展了待发现目标的来源,且在初始配置后自循环发现,不需要长期人工干预,从而有效提高特定领域微信公众号发现的准确性、全面性和自增长性。

Patent Agency Ranking