公开(公告)号：CN112995291A

公开(公告)日：2021-06-18

申请号：CN202110158253.1

申请日：2021-02-05

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 赖子琪 ,  王博 ,  朱振水

IPC: H04L29/08 ,  H04L29/06 ,  G06F16/951

Abstract: 本发明涉及一种基于代理的HTTP报文采集方法、终端设备及存储介质，该方法中包括：S1：构建HTTP报文代理模块，通过HTTP报文代理模块接收爬虫模块发送的HTTP请求报文；S2：判断HTTP报文库是否存在与接收的HTTP请求报文相同的HTTP请求报文，如果是，进入S4；否则，进入S3；S3：将HTTP请求报文转发至对应的爬取目标服务器，并接收HTTP响应报文，将HTTP响应报文转发至爬虫模块，同时将HTTP请求报文和HTTP响应报文存入HTTP报文库内，并记录关联关系；S4：从HTTP报文库获取HTTP请求报文关联的HTTP响应报文，并将其转发至爬虫模块。本发明从而避免了爬虫模块对不是由爬取目标服务器的内容更新而进行的重新采集，减轻了爬取目标服务器的负担，也避免了可能造成的网络虚拟财产损失。

公开(公告)号：CN112995291B

公开(公告)日：2023-02-21

申请号：CN202110158253.1

申请日：2021-02-05

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 赖子琪 ,  王博 ,  朱振水

IPC: H04L67/02 ,  H04L67/60 ,  H04L67/56 ,  H04L9/40 ,  G06F16/951

Abstract: 本发明涉及一种基于代理的HTTP报文采集方法、终端设备及存储介质，该方法中包括：S1：构建HTTP报文代理模块，通过HTTP报文代理模块接收爬虫模块发送的HTTP请求报文；S2：判断HTTP报文库是否存在与接收的HTTP请求报文相同的HTTP请求报文，如果是，进入S4；否则，进入S3；S3：将HTTP请求报文转发至对应的爬取目标服务器，并接收HTTP响应报文，将HTTP响应报文转发至爬虫模块，同时将HTTP请求报文和HTTP响应报文存入HTTP报文库内，并记录关联关系；S4：从HTTP报文库获取HTTP请求报文关联的HTTP响应报文，并将其转发至爬虫模块。本发明从而避免了爬虫模块对不是由爬取目标服务器的内容更新而进行的重新采集，减轻了爬取目标服务器的负担，也避免了可能造成的网络虚拟财产损失。

公开(公告)号：CN110912896B

公开(公告)日：2022-02-25

申请号：CN201911177336.4

申请日：2019-11-27

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 赖子琪 ,  朱振水 ,  许剑峰

IPC: H04L9/40

公开(公告)号：CN110912896A

公开(公告)日：2020-03-24

申请号：CN201911177336.4

申请日：2019-11-27

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 赖子琪 ,  朱振水 ,  许剑峰

IPC: H04L29/06

Abstract: 本发明涉及一种非侵入式的HTTP接口安全策略注入方法，包括以下步骤：S1、设计一个前端与服务端互相配合完成HTTP请求验证的安全策略,包括在前端生成特定形式的鉴权数据的逻辑和在服务端验证该鉴权数据的逻辑；S2、在前端通过预制作的前端代码构建工具插件操作构建过程，使底层对象被代理，代理对象拦截所有向接口发送的请求，并按安全策略中生成鉴权数据的逻辑改造请求，使其可以被验证；S3、在服务端导入依赖模块对所有被发往接口的请求进行预处理，按安全策略中验证鉴权数据的逻辑对其进行验证，使得只有验证通过的请求才可进入其目标接口执行。