-
公开(公告)号:CN118573209A
公开(公告)日:2024-08-30
申请号:CN202410637097.0
申请日:2024-05-22
Applicant: 中国地质大学(北京)
IPC: H03M7/40 , H03M7/30 , G06F16/18 , G06F16/174
Abstract: 本发明涉及数据处理技术领域,特别是指一种面向云日志细粒度单元的快速编码方法及装置。所述方法包括:使用日志解析树,对半结构化云日志数据进行二级模式解析,获得第一细粒度单元数据;基于云日志数据特征,根据滑动窗口最优阈值,对第一细粒度单元中的整型数据进行特征提取,获得局部特征区间数据;采用VLQ编码算法,对局部特征区间的元数据进行编码,获得编码后元数据;根据编码后元数据,采用特征感知快速编码算法,对第一细粒度单元数据进行局部编码,获得第二细粒度单元数据;使用GZIP压缩算法,对所述第二细粒度单元数据进行压缩处理,获得云日志压缩数据。本发明是一种基于细粒度单元的针对于云日志数据的高效且快速的编码方法。