面向云资源调度的热点移除方法

    公开(公告)号:CN103440158B

    公开(公告)日:2016-03-30

    申请号:CN201310323538.1

    申请日:2013-07-29

    Abstract: 本发明公开了一种面向云资源调度的热点移除方法,用于解决现有热点移除方法耗费资源而造成移除代价大的技术问题。技术方案是将物理机上的虚拟机进行主从划分,每个物理机上的虚拟机由一个主虚拟机和若干个从虚拟机组成,每个业务运行在Master上,为了保证Master由于负载过高突然崩溃时业务的正常运转,每个Master有若干个Slave分布上其他的物理机上,并定期和Master进行数据同步。每个物理机有节点控制器来收集每个虚拟机上的资源信息。当节点控制器发现某物理机上存在热点时,则通知集群管理器,集群管理器根据各个物理机上的热点情况进行判断,选择合适的物理机将热点进行迁移,从而消除热点,减少了迁移代价。

    面向海量分布式数据的非等值连接方法

    公开(公告)号:CN106021386B

    公开(公告)日:2019-02-05

    申请号:CN201610312145.4

    申请日:2016-05-12

    Abstract: 本发明公开了一种面向海量分布式数据的非等值连接方法,用于解决现有非等值连接方法效率低的技术问题。技术方案是在进行两表的非等值连接之前,首先根据连接条件选择合适的过滤规则,然后计算两表连接字段的最大值和最小值,根据最大值和最小值对两表中的所有记录进行扫描,将与输出结果无关的记录进行过滤,仅仅对过滤后的数据进行笛卡尔积的计算,最后根据连接条件对笛卡尔积的结果进行二次对比,筛选出符合连接条件的记录。该方法能够在做笛卡尔积之前,过滤掉大量的不符合连接条件的记录,可以有效地降低Reducer的工作量,提高了非等值连接的查询效率。

    面向海量分布式数据的非等值连接方法

    公开(公告)号:CN106021386A

    公开(公告)日:2016-10-12

    申请号:CN201610312145.4

    申请日:2016-05-12

    CPC classification number: G06F17/30595

    Abstract: 本发明公开了一种面向海量分布式数据的非等值连接方法,用于解决现有非等值连接方法效率低的技术问题。技术方案是在进行两表的非等值连接之前,首先根据连接条件选择合适的过滤规则,然后计算两表连接字段的最大值和最小值,根据最大值和最小值对两表中的所有记录进行扫描,将与输出结果无关的记录进行过滤,仅仅对过滤后的数据进行笛卡尔积的计算,最后根据连接条件对笛卡尔积的结果进行二次对比,筛选出符合连接条件的记录。该方法能够在做笛卡尔积之前,过滤掉大量的不符合连接条件的记录,可以有效地降低Reducer的工作量,提高了非等值连接的查询效率。

    大规模图数据处理方法
    5.
    发明公开

    公开(公告)号:CN103914556A

    公开(公告)日:2014-07-09

    申请号:CN201410148977.8

    申请日:2014-04-15

    CPC classification number: G06F9/46 G06F9/54

    Abstract: 本发明公开了一种大规模图数据处理方法,用于解决现有大规模图数据处理方法效率低的技术问题。技术方案是将每个并行作业转换为一系列全局迭代作业,每次迭代分为计算、全局通信和栅栏同步三个有序阶段。计算分为全局计算和本地计算,其中本地计算由一系列连续的内部迭代组成;全局通信阶段每个工作节点把当前全局迭代的消息发送给进行下一次全局迭代的工作节点;栅栏同步阶段主节点等待所有工作节点消息传递完成,然后开始下一次全局迭代。由于处理过程采用了多次内部迭代,减少了全局迭代次数。对美国东北地区的公路数据处理单源最短路径需要迭代次数由背景技术的3800多次降低到25次;执行时间从背景技术的1200s减少为60s。

    面向云资源调度的热点移除方法

    公开(公告)号:CN103440158A

    公开(公告)日:2013-12-11

    申请号:CN201310323538.1

    申请日:2013-07-29

    Abstract: 本发明公开了一种面向云资源调度的热点移除方法,用于解决现有热点移除方法耗费资源而造成移除代价大的技术问题。技术方案是将物理机上的虚拟机进行主从划分,每个物理机上的虚拟机由一个主虚拟机和若干个从虚拟机组成,每个业务运行在Master上,为了保证Master由于负载过高突然崩溃时业务的正常运转,每个Master有若干个Slave分布上其他的物理机上,并定期和Master进行数据同步。每个物理机有节点控制器来收集每个虚拟机上的资源信息。当节点控制器发现某物理机上存在热点时,则通知集群管理器,集群管理器根据各个物理机上的热点情况进行判断,选择合适的物理机将热点进行迁移,从而消除热点,减少了迁移代价。

Patent Agency Ranking