-
公开(公告)号：CN115221445A
公开(公告)日：2022-10-21
申请号：CN202210691230.1
申请日：2022-06-17
Applicant: 北京冠群信息技术股份有限公司
IPC: G06F16/958 , G06F16/955 , G06F16/174
Abstract: 本发明涉及网站处理技术领域，公开了一种网站高速保存方法，首先通过网页链接分析生产消息服务基于用户配置的采集种子链接地址；分析其下的所有第一层链接，通过多线程将第一层所有链接作为需要下载的网页消息体发送到消息服务中心并保存到链接数据库中；完成第一层的消息体发送和保存到链接数据库后，分析线程服务继续基于采集策略中的层级深度规则进行决策分析下一层；如果深度策略小下一层层级，停止分析；如果大于该层级，继续分析下一层链接用于得到下一层需要下载的链接分析；分析上一层对应的所有链接对应的下一层链接，并自动去重跨页面之间的相同链接。本发明在处理的扩展性和处理效率的提升上有明显的提升。
Search Results
1
records
(took 0.072 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
