公开(公告)号：CN113742400A

公开(公告)日：2021-12-03

申请号：CN202111062435.5

申请日：2021-09-10

Applicant: 哈尔滨工业大学(威海)

Inventor： 张兆心 ,  朴冠华 ,  程亚楠 ,  赵帅 ,  李超

IPC: G06F16/2458 ,  G06F16/26 ,  G06F9/54 ,  G06N20/00

Abstract: 本发明涉及一种基于自适应约束条件的网络数据获取系统及方法，其解决了大批量获取网络数据时受到数据源约束，无法高效获取数据的技术问题，其设有用户输入模块、预处理模块、任务分发模块、消息传递模块、数据存储模块、数据获取模块、数据分析模块和数据处理模块，用户输入模块与预处理模块连接，预处理模块与任务分发模块连接，任务分发模块分别与消息传递模块和数据存储模块连接，数据获取模块、数据分析模块和数据处理模块还分别与消息传递模块和数据存储模块连接。本发明可广泛应用于需要批量获取受数据源约束数据的场合。

公开(公告)号：CN113742400B

公开(公告)日：2023-09-19

申请号：CN202111062435.5

申请日：2021-09-10

Applicant: 哈尔滨工业大学(威海)

Inventor： 张兆心 ,  朴冠华 ,  程亚楠 ,  赵帅 ,  李超

IPC: G06F16/2458 ,  G06F16/26 ,  G06F9/54 ,  G06N20/00

Abstract: 本发明涉及一种基于自适应约束条件的网络数据获取系统及方法，其解决了大批量获取网络数据时受到数据源约束，无法高效获取数据的技术问题，其设有用户输入模块、预处理模块、任务分发模块、消息传递模块、数据存储模块、数据获取模块、数据分析模块和数据处理模块，用户输入模块与预处理模块连接，预处理模块与任务分发模块连接，任务分发模块分别与消息传递模块和数据存储模块连接，数据获取模块、数据分析模块和数据处理模块还分别与消息传递模块和数据存储模块连接。本发明可广泛应用于需要批量获取受数据源约束数据的场合。