采集互联网金融网页的项目列表的方法及系统

    公开(公告)号:CN111045659A

    公开(公告)日:2020-04-21

    申请号:CN201911094400.2

    申请日:2019-11-11

    Abstract: 本发明公开了一种采集互联网金融网页的项目列表的方法及系统,该方法包括:脚本生成端展示互联网金融网页对应的可视化配置界面;脚本生成端根据用户在可视化配置界面上的配置操作生成项目列表采集脚本,并将项目列表采集脚本存储至数据库;当时间到达项目列表采集脚本的执行时间点时,脚本生成端从数据库中取出项目列表采集脚本,并将项目列表采集脚本放入任务队列;脚本生成端将任务队列中的项目列表采集脚本分发至执行端;执行端运行项目列表采集脚本,得到项目列表采集信息,并将项目列表采集信息存储至执行端的本地文件系统。通过本发明,通过可视化配置方式,极大的简化了脚本配置工作,从而提高了数据采集效率。

    一种基于规则配置的URL搜索关键词提取的方法及系统

    公开(公告)号:CN105631050A

    公开(公告)日:2016-06-01

    申请号:CN201610111430.X

    申请日:2016-03-01

    Abstract: 本发明公开了一种基于规则配置的URL搜索关键词提取的方法,包括生成规则:对需要支持的搜索引擎的搜索URL进行分析,提取搜索URL特征并生成规则;配置规则:配置上述步骤分析到的规则;URL过滤:接收第三方的URL数据并与配置的所述规则进行匹配来过滤收到的所有URL数据;关键词处理:当有第三方的URL命中所述规则,则提取该URL的搜索关键词。本发明可以通过配置规则来快速的实现对多种搜索引擎的搜索URL关键字进行提取,实现海量URL数据的快速处理,从而在信安系统或舆情系统中使用本发明可以提供强有力的支撑。

Patent Agency Ranking