公开(公告)号：CN114297188A

公开(公告)日：2022-04-08

申请号：CN202210004105.9

申请日：2022-01-05

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 刘柏良 ,  徐晓文 ,  高素华 ,  李国庆

IPC: G06F16/215 ,  G06F16/21 ,  G06F16/22 ,  G06F16/28 ,  G06F16/182

Abstract: 本发明公开一种数据清理方法及终端，获取每一源数据库的连接信息以及所述每一源数据库对应的结构表的描述信息；基于所述连接信息和所述描述信息生成每一所述结构表对应的源数据规划；基于所述源数据规划对所述每一源数据库中的每一所述结构表进行数据清理，由于连接信息能够用于判断源数据库是否连接成功，只有连接成功才可进行数据清理，而结构表的描述信息体现了数据库中数据表的数据存储情况，基于连接信息和描述信息生成每一结构表对应的源数据规划，基于源数据规划对每一源数据库中的结构表进行数据清理，能够针对数据库的多样化数据进行兼容性清理，且实现了大量数据的自动清理，从而有效、快速地清理大量数据。

公开(公告)号：CN112380467A

公开(公告)日：2021-02-19

申请号：CN202011353097.6

申请日：2020-11-26

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 陈强 ,  林志扬 ,  黄南松 ,  栾江霞 ,  徐晓文 ,  李火泉

IPC: G06F16/955 ,  G06F16/957 ,  G06F16/958 ,  G06F9/445 ,  G06F9/54

Abstract: 本发明涉及一种基于手机的网站数据抽取方法、终端设备及存储介质，该方法中包括：S1：采集社交媒体网站的主页url，并根据主页url构建任务url，将任务url添加至PC机的数据库中的任务表内；S2：在PC机中部署用于手机与PC机进行信息交互的数据传输接口；S3：在PC机的数据库的账号列表内存入社交媒体网站对应的有效账号、代理池内存入有效代理IP；S4：将手机连接PC机后，手机通过调用数据传输接口来下载社交媒体网站的网页源码；S5：通过解析插件对下载的网页源码进行解析，获取网页内容数据；S6：将获取的网页内容数据按照其不同的类型，通过不同的标准进行数据封装并存储。本发明解决了传统爬虫针对社交媒体网站采集难、代理易被封、帐号易被封等问题。