一种电子围栏数据自动去重方法

    公开(公告)号:CN109062997A

    公开(公告)日:2018-12-21

    申请号:CN201810730678.3

    申请日:2018-07-05

    CPC classification number: H04W4/021

    Abstract: 本发明公开了一种电子围栏数据自动去重方法,涉及大数据处理技术领域。本发明的自动去重算法中,去重任务线程首先读取配置文件获取去重参数;然后根据去重开始时间以及系统当前时间对任务的休眠、取消或执行与否自动进行配置;在去重时对去重处理后的数据进行自动统计与存储;最后通过更新去重开始时间实现任务的智能化无人值守。本发明通过读取电子围栏设备采集的数据,得到设备编号及手机的国际移动用户识别码两个字段,根据二者的唯一性实现对电子围栏数据准确、高效的去重处理,解决由于大量重复数据存取而引起的系统传输开销大、存储空间利用率低和数据价值密度低的问题,同时实现了数据去重的智能化无人值守,提高了工作效率。

Patent Agency Ranking