一种海量数据的清洗方法和系统

    公开(公告)号:CN106484915B

    公开(公告)日:2019-10-11

    申请号:CN201610959853.7

    申请日:2016-11-03

    Abstract: 本发明公开一种海量数据的清洗方法和系统,涉及数据处理技术领域,以提高数据清洗的速度和效率。所述海量数据的清洗方法包括:根据预设数据块个数N,将映射归约并行计算框架内映射函数的个数设置为N,将归约函数的个数设为1;利用映射归约并行计算框架内N个映射函数将海量数据分成N个数据块,对每个数据块中的数据进行清洗,得到多个清洗的数据块;利用归约函数整合多个清洗的数据块,得到整合数据;对整合数据进行清洗,完成海量数据的清洗。所述海量数据的清洗系统包括上述海量数据的清洗方法。本发明提供的海量数据的清洗方法用于海量数据清洗。

    一种海量数据的清洗方法和系统

    公开(公告)号:CN106484915A

    公开(公告)日:2017-03-08

    申请号:CN201610959853.7

    申请日:2016-11-03

    Abstract: 本发明公开一种海量数据的清洗方法和系统,涉及数据处理技术领域,以提高数据清洗的速度和效率。所述海量数据的清洗方法包括:根据预设数据块个数N,将映射归约并行计算框架内映射函数的个数设置为N,将归约函数的个数设为1;利用映射归约并行计算框架内N个映射函数将海量数据分成N个数据块,对每个数据块中的数据进行清洗,得到多个清洗的数据块;利用归约函数整合多个清洗的数据块,得到整合数据;对整合数据进行清洗,完成海量数据的清洗。所述海量数据的清洗系统包括上述海量数据的清洗方法。本发明提供的海量数据的清洗方法用于海量数据清洗。

    一种用电信息数据检索方法及装置

    公开(公告)号:CN106649544A

    公开(公告)日:2017-05-10

    申请号:CN201610957950.2

    申请日:2016-10-27

    CPC classification number: G06F16/903 G06Q50/06

    Abstract: 本发明公开一种用电信息数据检索方法及装置,涉及电力领域,以提升用电信息数据检索的速度。所述用电信息数据检索方法包括:利用多条用电信息数据构建海量用电信息数据库;统计用电信息数据的累计检索次数,利用累计检索次数满足累计检索阈值的用电信息数据构建缓存;根据检索请求,在缓存中查找与检索请求相对应的用电信息数据;如果在缓存中未查找到与检索请求相对应的用电信息数据,根据检索请求,在海量用电信息数据库中查找与检索请求相对应的用电信息数据。所述用电信息数据检索装置包括上述用电信息数据检索方法。本发明提供的用电信息数据检索方法用于提升用电信息数据检索的速度。

    安全的跨域邮件传输方法、装置和系统

    公开(公告)号:CN105827518A

    公开(公告)日:2016-08-03

    申请号:CN201610346336.2

    申请日:2016-05-23

    Abstract: 本发明公开一种安全的跨域邮件传输方法、装置和系统。方法包括:获取发件用户发送的待发送邮件;若待发送邮件为发往外域的邮件,将待发送邮件的内容加密,生成与待发送邮件的内容相对应的网址链接;存储待发送邮件的内容和网址链接;修改待发送邮件,生成安全邮件,安全邮件只包括网址链接;发送安全邮件至收件方服务器;接收并响应收件用户对网址链接的访问请求,若收件邮箱已在发件方服务器注册,向收件用户的机器推送密码请求界面;获取收件用户输入的密码,密码与收件邮箱相对应;若密码正确,向收件用户的机器推送待发送邮件的内容。本发明提供的技术方案,能够提高电子邮件系统在跨域投递邮件时的安全指数,从而减少邮件信息泄露的风险。

Patent Agency Ranking