公开(公告)号：CN110020062B

公开(公告)日：2021-09-24

申请号：CN201910292891.5

申请日：2019-04-12

Applicant: 北京邮电大学

Inventor： 张熙 ,  段馨凝 ,  吴旭 ,  方滨兴

IPC: G06F16/951 ,  G06F16/958

Abstract: 本发明实施例提供了一种可定制的网络爬虫方法及系统，其中可定制的网络爬虫方法，包括：通过人工输入配置界面获取单个待生成爬虫任务的配置项；利用所述配置项中的第一爬虫名称，查找为所述第一爬虫名称预先配置的网站静态配置文件，作为目标静态配置文件；通过所述目标静态配置文件中包含的第一网站运行配置文件名称，查找为所述第一网站运行配置文件名称预先配置的网站运行配置文件，作为目标运行配置文件；基于所述目标静态配置文件、所述目标运行配置文件及所述配置项，生成包含所述配置项的爬虫任务；获取所述目标静态配置文件中包含的爬虫入口链接；执行用于对所述爬虫入口链接进行目标数据抓取的爬虫任务。

公开(公告)号：CN110020062A

公开(公告)日：2019-07-16

申请号：CN201910292891.5

申请日：2019-04-12

Applicant: 北京邮电大学

Inventor： 张熙 ,  段馨凝 ,  吴旭 ,  方滨兴

IPC: G06F16/951 ,  G06F16/958

Abstract: 本发明实施例提供了一种可定制的网络爬虫方法及系统，其中可定制的网络爬虫方法，包括：通过人工输入配置界面获取单个待生成爬虫任务的配置项；利用所述配置项中的第一爬虫名称，查找为所述第一爬虫名称预先配置的网站静态配置文件，作为目标静态配置文件；通过所述目标静态配置文件中包含的第一网站运行配置文件名称，查找为所述第一网站运行配置文件名称预先配置的网站运行配置文件，作为目标运行配置文件；基于所述目标静态配置文件、所述目标运行配置文件及所述配置项，生成包含所述配置项的爬虫任务；获取所述目标静态配置文件中包含的爬虫入口链接；执行用于对所述爬虫入口链接进行目标数据抓取的爬虫任务。