公开(公告)号：CN111580954B

公开(公告)日：2021-09-14

申请号：CN202010250430.4

申请日：2020-04-01

Applicant: 中国科学院信息工程研究所

Inventor： 姜政伟 ,  江钧 ,  李仲举 ,  贺义通

IPC: G06F9/50 ,  G06F9/54 ,  G06F16/951

Abstract: 本发明涉及一种可扩展的分布式数据采集方法和系统。该方法包括：部署主节点、工作节点和中间节点；主节点根据数据库中的定时任务定时生成采集任务，发布到消息队列的任务队列中；工作节点定时从任务队列读取采集任务并根据本地服务器的状态决定是否申请执行该采集任务；主节点从申请执行同一采集任务的工作节点中选取一个最佳的工作节点执行该采集任务，并将该采集任务从任务队列中移除；工作节点根据采集任务生成并执行采集进程，将采集的数据置入中间节点的消息队列中的数据队列；工作节点监控采集进程的运行状态并记录相关数据。本发明解决了现有数据采集系统易用性、通用性以及可管理性之间的矛盾以及分布式部署中任务分配不合理的难题。

公开(公告)号：CN111580954A

公开(公告)日：2020-08-25

申请号：CN202010250430.4

申请日：2020-04-01

Applicant: 中国科学院信息工程研究所

Inventor： 姜政伟 ,  江钧 ,  李仲举 ,  贺义通

IPC: G06F9/50 ,  G06F9/54 ,  G06F16/951

Abstract: 本发明涉及一种可扩展的分布式数据采集方法和系统。该方法包括：部署主节点、工作节点和中间节点；主节点根据数据库中的定时任务定时生成采集任务，发布到消息队列的任务队列中；工作节点定时从任务队列读取采集任务并根据本地服务器的状态决定是否申请执行该采集任务；主节点从申请执行同一采集任务的工作节点中选取一个最佳的工作节点执行该采集任务，并将该采集任务从任务队列中移除；工作节点根据采集任务生成并执行采集进程，将采集的数据置入中间节点的消息队列中的数据队列；工作节点监控采集进程的运行状态并记录相关数据。本发明解决了现有数据采集系统易用性、通用性以及可管理性之间的矛盾以及分布式部署中任务分配不合理的难题。