公开(公告)号：CN109446441B

公开(公告)日：2020-11-03

申请号：CN201811126541.3

申请日：2018-09-26

Applicant: 北京邮电大学

Inventor： 吴旭 ,  吴海涛 ,  段思澍 ,  许晋 ,  颉夏青

IPC: G06F16/955 ,  G06F16/951

Abstract: 一种通用的网络社区可信分布式采集存储系统，包括：分布式数据采集框架、快速开发框架、可信框架以及数据存储框架，其中，所述分布式数据采集框架采用了多元异构的形式，用于分布式并行的数据采集；所述快速开发框架包括多种快速开发模块，用于实现对系统的快速开发；所述可信框架包括多种性质验证模块，用于实现对数据采集过程中的多种性能的保证以及对存储数据的多种性能进行验证；所述数据存储框架包括多种数据存储模块，用于对多种复杂结构数据进行存储。本发明不但解决了现有爬虫框架中缺乏对数据可信性验证的问题，还针对结构复杂的数据设计了多种存储模块用于实现对其的有效存储；通过快速开发框架，使得开发过程更加方便和快速。

公开(公告)号：CN109446441A

公开(公告)日：2019-03-08

申请号：CN201811126541.3

申请日：2018-09-26

Applicant: 北京邮电大学

Inventor： 吴旭 ,  吴海涛 ,  段思澍 ,  许晋 ,  颉夏青

IPC: G06F16/955 ,  G06F16/951

Abstract: 一种通用的网络社区可信分布式采集存储系统，包括：分布式数据采集框架、快速开发框架、可信框架以及数据存储框架，其中，所述分布式数据采集框架采用了多元异构的形式，用于分布式并行的数据采集；所述快速开发框架包括多种快速开发模块，用于实现对系统的快速开发；所述可信框架包括多种性质验证模块，用于实现对数据采集过程中的多种性能的保证以及对存储数据的多种性能进行验证；所述数据存储框架包括多种数据存储模块，用于对多种复杂结构数据进行存储。本发明不但解决了现有爬虫框架中缺乏对数据可信性验证的问题，还针对结构复杂的数据设计了多种存储模块用于实现对其的有效存储；通过快速开发框架，使得开发过程更加方便和快速。