公开(公告)号：CN114297462A

公开(公告)日：2022-04-08

申请号：CN202111515500.5

申请日：2021-12-13

Applicant: 中国电子科技集团公司第二十八研究所 ,  南京莱斯网信技术研究院有限公司

Inventor： 梁增玉 ,  卜华奇 ,  贺成龙 ,  丁灿 ,  顾学海 ,  刘蛰 ,  张志垚 ,  尹晓阳 ,  吴嘉逸 ,  刘佳林

IPC: G06F16/951 ,  G06F16/955 ,  G06F12/12 ,  G06F9/48

Abstract: 本发明提供了一种基于动态自适应的网站异步序列数据智能采集方法，本发明在已有爬虫集群、账号池和IP池基础上，针对常见的反爬技术，如ajax动态加载技术、动态cookie访问限制、系统安全防护、异常访问行为监测和异常账号监测等反爬技术，通过动态自适应的智能采集系统实现目标主流网站的实时数据采集，通过分布式网络爬虫安全回传实现目标网站数据连续获取和隐蔽传输，为进一步数据分析做好铺垫。

公开(公告)号：CN115906801A

公开(公告)日：2023-04-04

申请号：CN202211354262.9

申请日：2022-11-01

Applicant: 南京莱斯网信技术研究院有限公司

Inventor： 卜华奇 ,  贺成龙 ,  丁玉响 ,  李沫 ,  顾学海

IPC: G06F40/205 ,  G06F16/951 ,  G06F16/35 ,  G06F16/31 ,  G06F16/33 ,  G06F40/258 ,  G06F40/289 ,  G06F40/216 ,  G06F9/54 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明提供了一种基于媒体融合的数据采集方法，本发明主要将多源异构媒体数据，例如：不同种类APP、PC客户端、HTML页面等数据进行结构化抽取并进行数据融合，通过整合已有的反爬技术获取海量异构数据，针对不同种类的原始素材进行分类抽取，从而完成对海量的媒体数据进行初步收集，为后续数据分析做数据储备，方法包括：1，异构数据源的融合；2，垃圾数据过滤；3，文本要素抽取。

公开(公告)号：CN114297462B

公开(公告)日：2024-11-12

申请号：CN202111515500.5

申请日：2021-12-13

Applicant: 中国电子科技集团公司第二十八研究所 ,  南京莱斯网信技术研究院有限公司

Inventor： 梁增玉 ,  卜华奇 ,  贺成龙 ,  丁灿 ,  顾学海 ,  刘蛰 ,  张志垚 ,  尹晓阳 ,  吴嘉逸 ,  刘佳林

IPC: G06F16/951 ,  G06F16/955 ,  G06F12/12 ,  G06F9/48

Abstract: 本发明提供了一种基于动态自适应的网站异步序列数据智能采集方法，本发明在已有爬虫集群、账号池和IP池基础上，针对常见的反爬技术，如ajax动态加载技术、动态cookie访问限制、系统安全防护、异常访问行为监测和异常账号监测等反爬技术，通过动态自适应的智能采集系统实现目标主流网站的实时数据采集，通过分布式网络爬虫安全回传实现目标网站数据连续获取和隐蔽传输，为进一步数据分析做好铺垫。

公开(公告)号：CN116915756A

公开(公告)日：2023-10-20

申请号：CN202310845588.X

申请日：2023-07-10

Applicant: 南京莱斯网信技术研究院有限公司

Inventor： 丁玉响 ,  贺成龙 ,  顾学海 ,  尹晓阳 ,  卜华奇

IPC: H04L65/75 ,  H04L9/40 ,  H04N21/235 ,  H04N21/258

Abstract: 本发明提供了一种多元流媒体数据采集方法，将多元流媒体，例如：内嵌在不同种类APP、PC客户端、HTML页面等视图数据进行源链接提取、特征提取、持久化存储，针对流媒体页面不同的反爬虫手段，获取视图数据，为后续视图内容识别分析做数据储备，方法包括：步骤1，获取待采集流媒体数据的流媒体源地址；步骤2，对流媒体源地址进行合规性验证；步骤3，对通过验证的流媒体源地址，进行分布式采集，得到流媒体数据；步骤4，对采集到的流媒体数据，进行流媒体特征信息提取；步骤5，根据流媒体特征信息，进行流媒体数据融合，得到结构化流媒体数据，完成所述的多元流媒体数据采集。