公开(公告)号：CN1564157A

公开(公告)日：2005-01-12

申请号：CN200410014399.5

申请日：2004-03-23

Applicant: 南京大学

Inventor： 潘金贵 ,  王超 ,  丁艳

IPC: G06F17/30

Abstract: 一种可扩展、可定制的主题集中式万维网爬虫系统设置方法，包括分析网页的相关度和网页扩展，以Rc(P)表示网页与初始网页集的相关度，利用Ra(P)可以建立这样的预测机制，因为Ra(P)可以通过分析有超链指向P的网页得到；以向量空间模型扩展。每次网页扩展都将会进行一次计算调整，但计算只发生在所涉及到的网页，排序调整也可控制在未被访问的若干网页中。当对某种主题比较关注，或者人们要获取较大量的某领域下的万维网信息，一类为主题集中式的万维网爬虫可以自动的在网上爬寻、搜集与主题相关的网页资源。本发明在万维网爬行策略中综合了网页相关度和重要度的评价，策略具有可调节的灵活性；该爬虫系统充分体现了可扩展性。

公开(公告)号：CN100371932C

公开(公告)日：2008-02-27

申请号：CN200410014399.5

申请日：2004-03-23

Applicant: 南京大学

Inventor： 潘金贵 ,  王超 ,  丁艳

IPC: G06F17/30

Abstract: 一种可扩展、可定制的主题集中式万维网爬虫系统设置方法，包括分析网页的相关度和网页扩展，以Rc(P)表示网页与初始网页集的相关度，利用Ra(P)可以建立这样的预测机制，因为Ra(P)可以通过分析有超链指向P的网页得到；以向量空间模型扩展。每次网页扩展都将会进行一次计算调整，但计算只发生在所涉及到的网页，排序调整也可控制在未被访问的若干网页中。当对某种主题比较关注，或者人们要获取较大量的某领域下的万维网信息，一类为主题集中式的万维网爬虫可以自动的在网上爬寻、搜集与主题相关的网页资源。本发明在万维网爬行策略中综合了网页相关度和重要度的评价，策略具有可调节的灵活性；该爬虫系统充分体现了可扩展性。