-
公开(公告)号:CN117851396A
公开(公告)日:2024-04-09
申请号:CN202410127578.7
申请日:2024-01-30
Applicant: 喀什地区电子信息产业技术研究院
IPC: G06F16/215 , G06F16/23 , G06F16/2455 , G06F16/25 , G06F16/28
Abstract: 本发明公开了一种基于湖仓一体的数据编目方法及系统,属于数据管理领域,包括:建设数据湖,并将外部数据源中的数据提取到数据湖中;清洗数据湖中的原始数据;为清洗后的数据添加元数据信息并采用多级编目架构进行编目;其中,所述多级编目架构中每个目录针对特定的数据领域进行配置和管理,当外部数据源更新时,通过后台线程定时刷新拉取最新数据并更新元数据。本发明实现多源异构数据的集成、整合和编目,以提供更方便、可靠和高效的并发数据访问和分析。