公开(公告)号：CN109614534A

公开(公告)日：2019-04-12

申请号：CN201811442700.0

申请日：2018-11-29

Applicant: 武汉大学

Inventor： 李石君 ,  黎文丹 ,  杨济海 ,  余伟 ,  余放 ,  李宇轩

IPC: G06F16/951 ,  G06F16/955 ,  G06N3/06

Abstract: 本发明涉及一种基于深度学习和增强学习的聚焦爬虫链接价值预测方法，所述方法中网络爬虫沿着URL链接构成的网络拓扑图爬行，通过历史爬行过程的累计奖赏信息和URL特征预测URL链接的主题价值，并依据链接主题价值的大小选择下一个目标网页。本发明的创新点在与构建了可用于增强学习的链接特征向量并将深度学习和增强学习结合用于聚焦爬行过程中的链接价值预测问题。

公开(公告)号：CN109614534B

公开(公告)日：2021-08-17

申请号：CN201811442700.0

申请日：2018-11-29

Applicant: 武汉大学

Inventor： 李石君 ,  黎文丹 ,  杨济海 ,  余伟 ,  余放 ,  李宇轩

IPC: G06F16/951 ,  G06F16/955 ,  G06N3/06

Abstract: 本发明涉及一种基于深度学习和增强学习的聚焦爬虫链接价值预测方法，所述方法中网络爬虫沿着URL链接构成的网络拓扑图爬行，通过历史爬行过程的累计奖赏信息和URL特征预测URL链接的主题价值，并依据链接主题价值的大小选择下一个目标网页。本发明的创新点在与构建了可用于增强学习的链接特征向量并将深度学习和增强学习结合用于聚焦爬行过程中的链接价值预测问题。