一种海量数据的清洗方法和系统

    公开(公告)号:CN106484915B

    公开(公告)日:2019-10-11

    申请号:CN201610959853.7

    申请日:2016-11-03

    Abstract: 本发明公开一种海量数据的清洗方法和系统,涉及数据处理技术领域,以提高数据清洗的速度和效率。所述海量数据的清洗方法包括:根据预设数据块个数N,将映射归约并行计算框架内映射函数的个数设置为N,将归约函数的个数设为1;利用映射归约并行计算框架内N个映射函数将海量数据分成N个数据块,对每个数据块中的数据进行清洗,得到多个清洗的数据块;利用归约函数整合多个清洗的数据块,得到整合数据;对整合数据进行清洗,完成海量数据的清洗。所述海量数据的清洗系统包括上述海量数据的清洗方法。本发明提供的海量数据的清洗方法用于海量数据清洗。

    一种海量数据的清洗方法和系统

    公开(公告)号:CN106484915A

    公开(公告)日:2017-03-08

    申请号:CN201610959853.7

    申请日:2016-11-03

    Abstract: 本发明公开一种海量数据的清洗方法和系统,涉及数据处理技术领域,以提高数据清洗的速度和效率。所述海量数据的清洗方法包括:根据预设数据块个数N,将映射归约并行计算框架内映射函数的个数设置为N,将归约函数的个数设为1;利用映射归约并行计算框架内N个映射函数将海量数据分成N个数据块,对每个数据块中的数据进行清洗,得到多个清洗的数据块;利用归约函数整合多个清洗的数据块,得到整合数据;对整合数据进行清洗,完成海量数据的清洗。所述海量数据的清洗系统包括上述海量数据的清洗方法。本发明提供的海量数据的清洗方法用于海量数据清洗。

    一种用电信息数据检索方法及装置

    公开(公告)号:CN106649544A

    公开(公告)日:2017-05-10

    申请号:CN201610957950.2

    申请日:2016-10-27

    CPC classification number: G06F16/903 G06Q50/06

    Abstract: 本发明公开一种用电信息数据检索方法及装置,涉及电力领域,以提升用电信息数据检索的速度。所述用电信息数据检索方法包括:利用多条用电信息数据构建海量用电信息数据库;统计用电信息数据的累计检索次数,利用累计检索次数满足累计检索阈值的用电信息数据构建缓存;根据检索请求,在缓存中查找与检索请求相对应的用电信息数据;如果在缓存中未查找到与检索请求相对应的用电信息数据,根据检索请求,在海量用电信息数据库中查找与检索请求相对应的用电信息数据。所述用电信息数据检索装置包括上述用电信息数据检索方法。本发明提供的用电信息数据检索方法用于提升用电信息数据检索的速度。

Patent Agency Ranking