采集互联网金融网页的项目列表的方法及系统

    公开(公告)号:CN111045659A

    公开(公告)日:2020-04-21

    申请号:CN201911094400.2

    申请日:2019-11-11

    Abstract: 本发明公开了一种采集互联网金融网页的项目列表的方法及系统,该方法包括:脚本生成端展示互联网金融网页对应的可视化配置界面;脚本生成端根据用户在可视化配置界面上的配置操作生成项目列表采集脚本,并将项目列表采集脚本存储至数据库;当时间到达项目列表采集脚本的执行时间点时,脚本生成端从数据库中取出项目列表采集脚本,并将项目列表采集脚本放入任务队列;脚本生成端将任务队列中的项目列表采集脚本分发至执行端;执行端运行项目列表采集脚本,得到项目列表采集信息,并将项目列表采集信息存储至执行端的本地文件系统。通过本发明,通过可视化配置方式,极大的简化了脚本配置工作,从而提高了数据采集效率。

    基于系统负载的MPP集群任务调度方法

    公开(公告)号:CN105302638B

    公开(公告)日:2018-11-20

    申请号:CN201510740736.7

    申请日:2015-11-04

    Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法,其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块,并按以下步骤实现:各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上;MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集集群内所有计算节点的系统负载信息,MPP集群主控节点依据任务的分布信息以及对应节点的负载情况,完成对任务的排队和调度,通过对系统负载的实时监控,实现动态并发控制,可以有效提高资源的利用率,使系统达到最佳吞吐性能。

Patent Agency Ranking