公开(公告)号：CN118733576A

公开(公告)日：2024-10-01

申请号：CN202410816922.3

申请日：2024-06-24

Applicant: 湖北工业大学

Inventor： 董新华 ,  徐文君 ,  徐志刚 ,  韩洪木 ,  毛娟 ,  张辉 ,  董广伟 ,  朱展仪

IPC: G06F16/215 ,  G06F16/25

Abstract: 本发明公开了一种交通大数据处理方法，包括：将多源数据采集器采集到的数据发送到数据代理子节点，所述数据代理子节点对采集到的多源数据进行一次初步清洗后汇聚到数据中心节点；所述数据中心节点对接收到的经过一次初步清洗后的数据进行二次清洗，并在完成清洗后将数据发送至消息队列；所述消息队列将经过二次清洗后的数据，依据时间与空间维度进行修复，得到干净数据。本发明提高了城市交通数据的质量和可用性，从而为智能交通系统提供坚实的数据基础。

公开(公告)号：CN118733575A

公开(公告)日：2024-10-01

申请号：CN202410750902.0

申请日：2024-06-12

Applicant: 湖北工业大学

Inventor： 徐志刚 ,  毛娟 ,  董新华 ,  韩洪木 ,  徐文君 ,  张辉 ,  董广伟 ,  朱展仪

IPC: G06F16/215 ,  G06F16/2457 ,  G06F16/28

Abstract: 本发明公开了一种高速大数据实时清洗方法、电子设备及存储介质，所述方法包括：将从高速路口实时采集的数据存储在消息队列中，根据分析需求信息将采集到的数据分为离线数据和实时数据，生成原始数据集；将不同来源的数据进行数据格式的统一以将原始数据集转换成具有固定字段的集成数据集；对所述集成数据集采用数据清洗算法，转换成清洗数据集。本发明实施例可以同时处理实时数据与离线数据，通过对数据进行时效性的分类，将数据划分为实时数据与离线数据两类，并针对性地采取差异化处理策略，从而能够适应不同的业务场景与需求。