基于多通道代理的数据获取方法、系统及装置

    公开(公告)号:CN112528118A

    公开(公告)日:2021-03-19

    申请号:CN202011491957.2

    申请日:2020-12-17

    Abstract: 本申请提供了一种基于多通道代理的数据获取方法、系统及装置,数据获取方法包括以下步骤:获取所需数据中的关键词;根据获取的关键词调用分布式爬虫框架;所述分布式爬虫框架中设置有多个爬虫节点;改变所述爬虫节点的IP;接收不同IP的爬虫节点爬取的网页数据;对接收到的网页数据进行数据抽取、转换、装载处理,得到有效数据;对有效数据进行存储。本申请通过分布式爬虫框架中的多个爬虫节点形成多通道代理,通过在每次爬取信息前改变分布式爬虫框架中爬虫节点的IP,能够绕过数据提供网站的反爬虫检测手段,用爬虫节点达到多通道代理、发现情报以及清洗、转换等操作,保证数据的精准可靠。

    匿名通信系统的可调节机制方法及系统

    公开(公告)号:CN103095575A

    公开(公告)日:2013-05-08

    申请号:CN201210591568.6

    申请日:2012-12-28

    Abstract: 本发明提供了一种匿名通信系统的可调节机制方法及系统,所述方法包括:S1.对匿名通信系统进行建模,修改路径选择算法;S2.各个用户根据对匿名度和性能的要求,在匿名度由高到低而性能由低到高的A、B、C、D、E5个可调节选项中进行选择;S3.匿名通信系统根据用户选择的不同可调节选项,在路径选择算法中使用不同的路径长度,构建匿名路径;S4.用户可以更改可调节选项,匿名通信系统则相应调整其匿名通信路径的路径长度;所述系统包括:依次连接的建模模块、可调节选项模块、路径选择模块和更新模块。本发明提供的匿名通信系统的可调节机制方法及系统,通过控制路径长度提供匿名度和性能的可调节机制,满足不同用户的不同需求,提高系统可用性。

    一种消息混合匿名通信方法及装置

    公开(公告)号:CN101605107A

    公开(公告)日:2009-12-16

    申请号:CN200910089500.6

    申请日:2009-07-22

    Abstract: 本发明公开了一种能够适应消息流量环境变化并能满足用户个性化匿名需求的消息混合匿名通信方法及装置,该装置在传统的消息混合匿名通信装置中引入了流量环境感知器和用户匿名期望值提取模块,其中流量环境感知器用于获取消息流量环境特征值dt,然后根据该消息流量环境特征值可以计算消息输出概率p(mi),当消息刷新时机到来时,以概率p(mi)输出消息mi,以概率1-p(mi)保留消息不输出;其中,消息流量环境特征值dt=β·nt+(1-β)·dt-1,nt为当前单位时间内到达的输入消息个数,β为平滑常数,dt-1为上一单位时间的流量特征值;消息输出概率p(mi)如图。用户匿名期望值提取模块用于在消息中提取用户设置的匿名期望值参数α,该参数表示消息输出概率随消息流量环境特征值变化而变化的幅度。

    一种可配置的网络爬虫方法
    17.
    发明公开

    公开(公告)号:CN117556114A

    公开(公告)日:2024-02-13

    申请号:CN202311535665.8

    申请日:2023-11-17

    Abstract: 本发明涉及一种可配置的网络爬虫方法,属于网络安全技术领域。根据目标网页生成模板,形成配置文件,利用配置文件来完成网页信息的爬取,具体地,首先通过文件解析引擎调用爬虫配置文件,解析得到爬虫模板信息,然后根据模板信息对目标网页进行内容爬取;该方法以灵活的配置文件代替硬编码的方式,实现对网页信息的爬取,使得开发人员只需对配置文件进行编写或修改即可,省去了硬编码所带来的复杂的开发量以及后期维护的高成本,能够更高效率地满足网页信息的爬取需求。

    匿名通信系统的可调节机制方法及系统

    公开(公告)号:CN103095575B

    公开(公告)日:2018-04-06

    申请号:CN201210591568.6

    申请日:2012-12-28

    Abstract: 本发明提供了一种匿名通信系统的可调节机制方法及系统,所述方法包括:S1.对匿名通信系统进行建模,修改路径选择算法;S2.各个用户根据对匿名度和性能的要求,在匿名度由高到低而性能由低到高的A、B、C、D、E5个可调节选项中进行选择;S3.匿名通信系统根据用户选择的不同可调节选项,在路径选择算法中使用不同的路径长度,构建匿名路径;S4.用户可以更改可调节选项,匿名通信系统则相应调整其匿名通信路径的路径长度;所述系统包括:依次连接的建模模块、可调节选项模块、路径选择模块和更新模块。本发明提供的匿名通信系统的可调节机制方法及系统,通过控制路径长度提供匿名度和性能的可调节机制,满足不同用户的不同需求,提高系统可用性。

Patent Agency Ranking