-
公开(公告)号:CN106354876A
公开(公告)日:2017-01-25
申请号:CN201610842362.4
申请日:2016-09-22
Applicant: 珠海格力电器股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30212
Abstract: 本发明公开了一种数据处理系统和方法,涉及数据处理技术领域,其中的系统包括:原数据存储装置、数据分析装置和目标数据存储装置;原数据存储装置存储从数据源采集的原数据;数据分析装置对原数据存储装置存储的原数据进行分析,并从原数据中筛选出目标数据,将目标数据存储在目标数据存储装置中。本发明的数据处理系统和方法,能够预先筛选出所需的目标数据,并在进行数据分析或展示时可以直接使用目标数据,提升了数据处理的效率,降低了数据处理的复杂度,并能够节省系统资源;并且,采用了基于HDFS和MapReduce的Hadoop集群架构可以提升对大数据量的处理效率,并可以简化数据一致性的问题。
-
公开(公告)号:CN206421382U
公开(公告)日:2017-08-18
申请号:CN201621072710.6
申请日:2016-09-22
Applicant: 珠海格力电器股份有限公司
IPC: G06F17/30
Abstract: 本实用新型公开了一种数据处理系统,涉及数据处理技术领域,包括:原数据存储装置、数据分析装置和目标数据存储装置;原数据存储装置存储从数据源采集的原数据;数据分析装置对原数据存储装置存储的原数据进行分析,并从原数据中筛选出目标数据,将目标数据存储在目标数据存储装置中。本实用新型的数据处理系统,能够预先筛选出所需的目标数据,并在进行数据分析或展示时可以直接使用目标数据,提升了数据处理的效率,降低了数据处理的复杂度,并能够节省系统资源;并且,采用了基于HDFS和MapReduce的Hadoop集群架构可以提升对大数据量的处理效率,并可以简化数据一致性的问题。
-