公开(公告)号：CN108959539A

公开(公告)日：2018-12-07

申请号：CN201810701727.0

申请日：2018-06-30

Applicant: 成都信息工程大学

Inventor： 曹亮 ,  罗山城

IPC: G06F17/30

Abstract: 本发明公开了一种基于规则可配置的网页数据解析方法，包括以下步骤：S1.Web端任务创建：Web应用程序向服务器端发送数据请求，任务配置信息填写完成后提交配置的信息；S2.网页采集：获取Web中通过任务配置配置的采集信息，后台根据传入的URL开始进行网页的抓取；S3.网页解析：获取Web中通过任务配置配置的解析信息，并获取采集网页后的列表信息进行数据解析；S4.数据下载：通过任务列表查看任务结果，在任务结果中可对采集的网页内容进行下载，也可对解析的数据进行查看和下载。本发明使用B/S架构的方式，方便使用，在对网页进行采集以及网页数据解析配置时，不需要进行大量操作。还可以方便的对网页中动态数据进行获取，并且使用协程，可以快速获取网页。

公开(公告)号：CN108959539B

公开(公告)日：2021-09-21

申请号：CN201810701727.0

申请日：2018-06-30

Applicant: 成都信息工程大学

Inventor： 曹亮 ,  罗山城

IPC: G06F16/953 ,  G06F16/95

Abstract: 本发明公开了一种基于规则可配置的网页数据解析方法，包括以下步骤：S1.Web端任务创建：Web应用程序向服务器端发送数据请求，任务配置信息填写完成后提交配置的信息；S2.网页采集：获取Web中通过任务配置配置的采集信息，后台根据传入的URL开始进行网页的抓取；S3.网页解析：获取Web中通过任务配置配置的解析信息，并获取采集网页后的列表信息进行数据解析；S4.数据下载：通过任务列表查看任务结果，在任务结果中可对采集的网页内容进行下载，也可对解析的数据进行查看和下载。本发明使用B/S架构的方式，方便使用，在对网页进行采集以及网页数据解析配置时，不需要进行大量操作。还可以方便的对网页中动态数据进行获取，并且使用协程，可以快速获取网页。