基于系统负载的MPP集群任务调度方法

    公开(公告)号:CN105302638B

    公开(公告)日:2018-11-20

    申请号:CN201510740736.7

    申请日:2015-11-04

    Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法,其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块,并按以下步骤实现:各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上;MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集集群内所有计算节点的系统负载信息,MPP集群主控节点依据任务的分布信息以及对应节点的负载情况,完成对任务的排队和调度,通过对系统负载的实时监控,实现动态并发控制,可以有效提高资源的利用率,使系统达到最佳吞吐性能。

    一种构建用户画像的系统
    18.
    发明公开

    公开(公告)号:CN106504099A

    公开(公告)日:2017-03-15

    申请号:CN201510564449.5

    申请日:2015-09-07

    Abstract: 本发明公开了一种构建用户画像的系统。其中,构建用户画像的系统通过数据采集模块用于采集用户互联网上网日志数据,数据预处理模块用于对用户互联网上网日志数据进行预处理,数据分析模块用于对预处理后的互联网上网日志数据进行特征提取,得到用户的属性特征,数据应用模块用于基于已建立的多维特征库训练的标签分类,根据用户的属性特征在多维特征库中进行匹配,得到用户的多维度属性标签,数据业务模块用于根据所述多维度属性标签构建所述用户画像。通过本发明提供的系统,能够构建出全息的多维度用户画像,从而能够满足运营商/企业/公司快速精准广告投放和用户群体的消费行为的推荐。

    基于系统负载的MPP集群任务调度方法

    公开(公告)号:CN105302638A

    公开(公告)日:2016-02-03

    申请号:CN201510740736.7

    申请日:2015-11-04

    Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法,其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块,并按以下步骤实现:各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上;MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集群内所有计算节点的系统负载信息,MPP集群主控节点依据任务的分布信息以及对应节点的负载情况,完成对任务的排队和调度,通过对系统负载的实时监控,实现动态并发控制,可以有效提高资源的利用率,使系统达到最佳吞吐性能。

Patent Agency Ranking