公开(公告)号：CN114282067B

公开(公告)日：2025-01-17

申请号：CN202111369711.2

申请日：2021-11-18

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 施翔飞 ,  林海 ,  江逸鑫 ,  黄月和 ,  阮志忠 ,  黄天旺

IPC: G06F16/901 ,  G06F16/9537

Abstract: 本发明涉及一种基于时空网格的数据过滤方法、终端设备及存储介质，该方法中包括：S1：采用基于规则的过滤器对数据进行过滤处理，剔除数据中不符合规则的异常数据；S2：对过滤处理后的数据进行时空网格化处理为时空网格编码后，以哈希表结构进行存储；S3：通过时空过滤器，对哈希表中不满足时空约束条件的数据进行过滤。本发明除了能过滤常见的异常数据外，还通过对数据进行时空网格化，对数据进行提炼，减少大量冗余基础采集日志存储，降低了存储成本，且保留了具有代表性价值的数据，为后续的时空关联挖掘工作打下良好基础。

公开(公告)号：CN114282067A

公开(公告)日：2022-04-05

申请号：CN202111369711.2

申请日：2021-11-18

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 施翔飞 ,  林海 ,  江逸鑫 ,  黄月和 ,  阮志忠 ,  黄天旺

IPC: G06F16/901 ,  G06F16/9537

Abstract: 本发明涉及一种基于时空网格的数据过滤方法、终端设备及存储介质，该方法中包括：S1：采用基于规则的过滤器对数据进行过滤处理，剔除数据中不符合规则的异常数据；S2：对过滤处理后的数据进行时空网格化处理为时空网格编码后，以哈希表结构进行存储；S3：通过时空过滤器，对哈希表中不满足时空约束条件的数据进行过滤。本发明除了能过滤常见的异常数据外，还通过对数据进行时空网格化，对数据进行提炼，减少大量冗余基础采集日志存储，降低了存储成本，且保留了具有代表性价值的数据，为后续的时空关联挖掘工作打下良好基础。