公开(公告)号：CN101645082B

公开(公告)日：2011-04-20

申请号：CN200910061694.9

申请日：2009-04-17

Applicant: 华中科技大学

Inventor： 李瑞轩 ,  丁益斌 ,  文坤梅 ,  陈珊珊 ,  辜希武 ,  卢正鼎 ,  靳延安 ,  郑鹏 ,  赵勇

IPC: G06F17/30

Abstract: 本发明提出的基于并行编程模式的相似网页去重系统，包括网页内容预处理模块、网页特征向量提取模块、网页特征指纹计算模块、网页指纹在线去重模块、网页指纹分布式批处理去重模块、基于特定分布式计算平台。该系统能够完成对网络爬虫爬行获得的网页进行文本内容编码的统一转换、文档结构的规范化、舍弃网页噪声内容和分析识别网页的主题内容、连续文本内容的词项切分等环节、形成能够代表网页的特征向量。针对该向量可以使用相关的算法得到代表网页特征的网页指纹。本发明设计提出的系统在互联网海量数据量的情况下，准确、快速地探测由于网站镜像和网络文档转载等因素造成的网页内容完全重复或近似重复，并完成相应的去重工作，从无提高搜索引擎的存储效率，给搜索引擎带来更好的用户体验。

公开(公告)号：CN101645082A

公开(公告)日：2010-02-10

申请号：CN200910061694.9

申请日：2009-04-17

Applicant: 华中科技大学

Inventor： 李瑞轩 ,  丁益斌 ,  文坤梅 ,  陈珊珊 ,  辜希武 ,  卢正鼎 ,  靳延安 ,  郑鹏 ,  赵勇

IPC: G06F17/30

Abstract: 本发明提出的基于并行编程模式的相似网页去重系统，包括网页内容预处理模块、网页特征向量提取模块、网页特征指纹计算模块、网页指纹在线去重模块、网页指纹分布式批处理去重模块、基于特定分布式计算平台。该系统能够完成对网络爬虫爬行获得的网页进行文本内容编码的统一转换、文档结构的规范化、舍弃网页噪声内容和分析识别网页的主题内容、连续文本内容的词项切分等环节、形成能够代表网页的特征向量。针对该向量可以使用相关的算法得到代表网页特征的网页指纹。本发明设计提出的系统在互联网海量数据量的情况下，准确、快速地探测由于网站镜像和网络文档转载等因素造成的网页内容完全重复或近似重复，并完成相应的去重工作，从无提高搜索引擎的存储效率，给搜索引擎带来更好的用户体验。