一种分布式网络数据采集方法及其采集系统

    公开(公告)号:CN109660532A

    公开(公告)日:2019-04-19

    申请号:CN201811532961.1

    申请日:2018-12-14

    Abstract: 本发明涉及网络数据采集的技术领域,具体涉及一种分布式网络数据采集方法及其采集系统,该方法包括通过调度器对请求队列中的链接进行去重,并将请求队列分配给相应的从机节点进行网络数据采集;在某一采集节点的网络数据采集行为遭到所采集的网站的攻击行为时,触发相应的防御机制;防御机制根据攻击行为判断攻击类型,并判断攻击类型与该采集节点所对应的从机节点预设的防御类型是否匹配;匹配时,执行与防御类型对应的防御措施来解除攻击;不匹配时,取消该采集节点的网络数据采集行为,并将未采集的请求队列返回至调度器等待重新分配,解决了在正常的网络数据采集工作遭到所采集的网站错误攻击时,能够及时的采取相应的措施解除危机。

Patent Agency Ranking