公开(公告)号：CN104298716A

公开(公告)日：2015-01-21

申请号：CN201410478932.7

申请日：2014-09-18

Applicant: 中国科学院信息工程研究所

Inventor： 龚晓锐 ,  孙骁永 ,  朴爱花 ,  邹维

IPC: G06F17/30 ,  H04L29/06

CPC classification number: G06F17/30864

Abstract: 本发明涉及一种支持人工会话嫁接的网络爬虫系统和实现方法。首先分析要爬取的目标网站，将登录页面设为初始页面；用户模拟模块与目标网站建立网络连接，为人工操作提供信息输入接口；人工智力参与模块输入所需要的信息并传递给用户模拟模块；用户模拟模块定位登录页面中的输入框和登录按钮，输入相关信息并通过网络访问模块外发到目标网站进行登录；登录完成后用户模拟模块打开爬虫要爬取的页面，并将页面的回应信息传递给爬虫模块；爬虫模块获得执行权限后，沿用人工在用户模拟模块中创建的网络会话，访问目标网站，爬取网站内容。本发明将人工智力参与所建立的网络会话用于爬虫模块，能够让网络爬虫获得与真人上网完全相同的网络访问能力。

公开(公告)号：CN104298716B

公开(公告)日：2018-01-19

申请号：CN201410478932.7

申请日：2014-09-18

Applicant: 中国科学院信息工程研究所

Inventor： 龚晓锐 ,  孙骁永 ,  朴爱花 ,  邹维

IPC: G06F17/30 ,  H04L29/06

Abstract: 本发明涉及一种支持人工会话嫁接的网络爬虫系统和实现方法。首先分析要爬取的目标网站，将登录页面设为初始页面；用户模拟模块与目标网站建立网络连接，为人工操作提供信息输入接口；人工智力参与模块输入所需要的信息并传递给用户模拟模块；用户模拟模块定位登录页面中的输入框和登录按钮，输入相关信息并通过网络访问模块外发到目标网站进行登录；登录完成后用户模拟模块打开爬虫要爬取的页面，并将页面的回应信息传递给爬虫模块；爬虫模块获得执行权限后，沿用人工在用户模拟模块中创建的网络会话，访问目标网站，爬取网站内容。本发明将人工智力参与所建立的网络会话用于爬虫模块，能够让网络爬虫获得与真人上网完全相同的网络访问能力。