公开(公告)号：CN102663058A

公开(公告)日：2012-09-12

申请号：CN201210090259.0

申请日：2012-03-30

Applicant: 华中科技大学

Inventor： 邹复好 ,  凌贺飞 ,  李平 ,  刘学 ,  邱荷花

IPC: G06F17/30

Abstract: 本发明提供了一种分布式网络爬虫系统中的URL去重方法，通过引入虚拟爬行结点，实现了高效的任务划分策略，从而更好地适应分布式网络爬虫系统中实际爬行结点的动态变化，在任务划分策略基础上使用一种分布式的URL去重方式，从而避免实际爬行结点变化过程中造成的重复爬行。本发明在任务划分时变动规模小，能保证爬虫系统稳定持久运行，划分策略具有动态适应性，能实现实际爬行结点的负载均衡。采用多个布隆过滤器去重结构，减小了去重对内存大小的需求，可实现基于内存的快速去重，在需要时能高效转移和备份，防止由于去重信息缺失而造成爬虫系统重复爬行。本发明效率高，可操作性好，具有极高的应用价值。

公开(公告)号：CN102663058B

公开(公告)日：2013-12-18

申请号：CN201210090259.0

申请日：2012-03-30

Applicant: 华中科技大学

Inventor： 邹复好 ,  凌贺飞 ,  李平 ,  刘学 ,  邱荷花

IPC: G06F17/30

Abstract: 本发明提供了一种分布式网络爬虫系统中的URL去重方法，通过引入虚拟爬行结点，实现了高效的任务划分策略，从而更好地适应分布式网络爬虫系统中实际爬行结点的动态变化，在任务划分策略基础上使用一种分布式的URL去重方式，从而避免实际爬行结点变化过程中造成的重复爬行。本发明在任务划分时变动规模小，能保证爬虫系统稳定持久运行，划分策略具有动态适应性，能实现实际爬行结点的负载均衡。采用多个布隆过滤器去重结构，减小了去重对内存大小的需求，可实现基于内存的快速去重，在需要时能高效转移和备份，防止由于去重信息缺失而造成爬虫系统重复爬行。本发明效率高，可操作性好，具有极高的应用价值。

公开(公告)号：CN201993803U

公开(公告)日：2011-09-28

申请号：CN201020670898.0

申请日：2010-12-21

Applicant: 武汉钢铁(集团)公司 ,  华中科技大学

Inventor： 梅书荣 ,  朱卫锋 ,  陈乔 ,  石志新 ,  呼舰军 ,  黄晓晨 ,  刘学 ,  叶力 ,  黄彪 ,  谷建华

IPC: G06Q10/00 ,  G06Q30/00 ,  H04W84/12

Abstract: 本实用新型涉及物流移动电子交付系统，它包括移动终端、客户端、路由器、应用服务器、数据库服务器、数据交互服务器和上位机，客户端与路由器之间通过互联网连接，应用服务器、数据库服务器、数据交互服务器和上位机与路由器之间通过局域网连接，其特征是移动终端与路由器之间通过无线通讯网络连接。采用本实用新型，能实时记载物流交付信息，并能实时对交付信息进行查询跟踪，实现产品运输物流全过程质量追溯的目标。本实用新型成本低、效率高，使用方便可靠。