公开(公告)号：CN116628302A

公开(公告)日：2023-08-22

申请号：CN202310432584.9

申请日：2023-04-21

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 徐赛 ,  董鹏飞 ,  邱毓彬 ,  张磊 ,  文中周 ,  南文丽

IPC: G06F16/951 ,  H04L67/02

Abstract: 公开了一种基于webkit的网络数据爬取方法和系统，包括基于webkit修改浏览器设置和UA头部，跳过应用官方对自动化工具或浏览器的检测；调用JS注入模块接口注入C++和JS脚本，替换浏览器内置自定义对象，模拟内置浏览器环境，执行应用官方的JS代码进行数据的加密和解密；利用底层网络模块的自定义方法进行网络消息拦截，获取官方应用返回的数据，截取关键参数信息和cookie信息，为HTTP请求提供参数支持，完成对数据的获取。本申请能够绕过一些web验证，有效的提高了网络数据提取能力。

公开(公告)号：CN116578641A

公开(公告)日：2023-08-11

申请号：CN202310298879.1

申请日：2023-03-24

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 白冰 ,  张磊 ,  陈汀 ,  邱毓彬 ,  姚志强 ,  邢磊

IPC: G06F16/27 ,  G06F16/22 ,  G06F16/2458 ,  G06F16/21

Abstract: 公开了一种基于ketama算法的分库方法和系统，包括创建哈希环，利用ketama_hash对服务器信息进行哈希取值获得第一哈希值，并将第一哈希值映射至哈希环上；对数据中的key进行md5计算，再使用ketama_hash计算第二哈希值，并将第二哈希值映射至哈希环上；从哈希环上的第二哈希值处顺时针查找，将数据保存于找到的第一台服务器上。本申请解决了分库节点变化后引起的数据迁移量问题，并且加入复制因子参数，通过虚拟节点解决节点分布不均匀的问题。