-
公开(公告)号:CN112332853B
公开(公告)日:2022-06-03
申请号:CN202011204819.1
申请日:2020-11-02
Applicant: 重庆邮电大学
Abstract: 本发明提出一种基于电力系统的时序数据压缩与恢复方法,主要针对数值型数据进行数据的压缩与恢复;以最基本的压缩方法为例,所述压缩方法包括边缘计算设备对电力终端采集的时序数据进行存储;所述边缘计算设备根据数据特征对时序数据进行分类,将时序数据划分为稳定数据和波动数据;对稳定数据采用改进的DEGA算法进行压缩并存储;对波动数据利用神经网络中的自动编码器进行压缩并存储;本发明利用均分位编码对时序数据进行处理,加快了数据编码的时间,对时序数据进行分类分别采用基于自动编码器和改进的DEGA算法处理,使得数据的压缩率更高。
-
公开(公告)号:CN112332853A
公开(公告)日:2021-02-05
申请号:CN202011204819.1
申请日:2020-11-02
Applicant: 重庆邮电大学
Abstract: 本发明提出一种基于电力系统的时序数据压缩与恢复方法,主要针对数值型数据进行数据的压缩与恢复;以最基本的压缩方法为例,所述压缩方法包括边缘计算设备对电力终端采集的时序数据进行存储;所述边缘计算设备根据数据特征对时序数据进行分类,将时序数据划分为稳定数据和波动数据;对稳定数据采用改进的DEGA算法进行压缩并存储;对波动数据利用神经网络中的自动编码器进行压缩并存储;本发明利用均分位编码对时序数据进行处理,加快了数据编码的时间,对时序数据进行分类分别采用基于自动编码器和改进的DEGA算法处理,使得数据的压缩率更高。
-
公开(公告)号:CN109684284A
公开(公告)日:2019-04-26
申请号:CN201811640914.9
申请日:2018-12-29
Applicant: 南方电网科学研究院有限责任公司 , 重庆邮电大学
IPC: G06F16/174
Abstract: 本发明属于数据去重技术领域,具体涉及一种基于边缘计算的滑动分块重复数据删除方法,包括根据Rsync求和校验函数和滑动窗口来计算文件对象的的每个重叠块的求和,得到校验和的值;对于每个块,比较校验和的值与先前存储的值;若校验和的值与先前存储的值匹配,并将SHA-1计算出的hash值与先前存储的值进行比较,从而进行冗余检测,如果检测出相同数据,删除其代表的数据块;本发明提出的基于边缘计算的滑动块重复数据删除技术,即克服了传统数据去重的粒度较差和开销的问题,又解决了对插入删除数据敏感的缺陷并在SHA-1算法基础上加入校验和这种弱校验检测的方法以及手动设置窗口大小的思想,从而达到较好的去重效果。
-
-