一种数据处理系统和方法
    1.
    发明公开

    公开(公告)号:CN106354876A

    公开(公告)日:2017-01-25

    申请号:CN201610842362.4

    申请日:2016-09-22

    CPC classification number: G06F17/30212

    Abstract: 本发明公开了一种数据处理系统和方法,涉及数据处理技术领域,其中的系统包括:原数据存储装置、数据分析装置和目标数据存储装置;原数据存储装置存储从数据源采集的原数据;数据分析装置对原数据存储装置存储的原数据进行分析,并从原数据中筛选出目标数据,将目标数据存储在目标数据存储装置中。本发明的数据处理系统和方法,能够预先筛选出所需的目标数据,并在进行数据分析或展示时可以直接使用目标数据,提升了数据处理的效率,降低了数据处理的复杂度,并能够节省系统资源;并且,采用了基于HDFS和MapReduce的Hadoop集群架构可以提升对大数据量的处理效率,并可以简化数据一致性的问题。

    一种数据处理系统
    2.
    实用新型

    公开(公告)号:CN206421382U

    公开(公告)日:2017-08-18

    申请号:CN201621072710.6

    申请日:2016-09-22

    Abstract: 本实用新型公开了一种数据处理系统,涉及数据处理技术领域,包括:原数据存储装置、数据分析装置和目标数据存储装置;原数据存储装置存储从数据源采集的原数据;数据分析装置对原数据存储装置存储的原数据进行分析,并从原数据中筛选出目标数据,将目标数据存储在目标数据存储装置中。本实用新型的数据处理系统,能够预先筛选出所需的目标数据,并在进行数据分析或展示时可以直接使用目标数据,提升了数据处理的效率,降低了数据处理的复杂度,并能够节省系统资源;并且,采用了基于HDFS和MapReduce的Hadoop集群架构可以提升对大数据量的处理效率,并可以简化数据一致性的问题。

Patent Agency Ranking