数据去重方法、装置、设备和介质

    公开(公告)号:CN115794783A

    公开(公告)日:2023-03-14

    申请号:CN202211139209.7

    申请日:2022-09-19

    Inventor: 潘永克 简瑞峰

    Abstract: 本发明提供一种数据去重方法、装置、设备和介质,涉及轨道交通技术领域,包括:在接收到实时业务需求的情况下,基于实时业务需求对分布式消息系统中的业务数据进行消费,并将消费后得到的业务结果数据存储至分析型数据库中;在达到预设去重条件的情况下,获取实时业务需求匹配的预设配置文件,基于预设配置文件配置分析型数据库的目标存储引擎,并基于配置好的目标存储引擎对分析型数据库中存储的业务结果数据进行去重,由此通过配置的预设去重条件、预设配置文件及目标存储引擎实现数据落库分析型数据库后的自动去重操作,进而提高了数据去重效率。

Patent Agency Ranking