公开(公告)号：CN105808738A

公开(公告)日：2016-07-27

申请号：CN201610136918.8

申请日：2016-03-10

Applicant: 哈尔滨工程大学

Inventor： 王红滨 ,  董宇欣 ,  王让 ,  李自金 ,  刘广强 ,  张玉鹏 ,  杨楠 ,  刘红丽 ,  刘天宇 ,  冯梦园

IPC: G06F17/30

CPC classification number: G06F16/955 ,  G06F16/24556 ,  G06F16/9535

Abstract: 基于元搜索引擎搜索结果的去重方法，本发明涉及元搜索引擎搜索结果的去重方法。本发明是要解决现有技术不能对格式不同的URL的相同网页和重定向的网页进行去重、根据标点符号周边的信息、标点符号的位置以及词频的模糊匹配不能全面地代表句子与文章问题，而提出的基于元搜索引擎搜索结果的去重方法。该方法是通过一、根据URL地址判断是否是重复网页；二、分别计算两个网页的标题相似度和两个网页摘要的相似度；三、根据标题相似度和摘要的相似度计算网页的相似度：步骤四、如果相似度值Sim(A，B)大于阈值，则就认为两个网页是重复的等步骤实现的。本发明应用于元搜索引擎搜索结果的去重领域。