一种实现数据仓库向数据湖传输数据的系统及方法

    公开(公告)号:CN116361402A

    公开(公告)日:2023-06-30

    申请号:CN202310361109.7

    申请日:2023-04-06

    Abstract: 本发明涉及一种实现数据仓库向数据湖传输数据的系统,包括数据仓库和数据湖,数据仓库设有自定义算法服务器和智能预加载引擎,所述自定义算法服务器用于计算预加载方式;所述智能预加载引擎根据自定义算法服务器计算的预加载方式将数据仓库服务器中的数据预加载到数据湖中,并记录每次调用数据仓库的日志信息;数据湖设有上数据仓库预加载数据服务、数据仓库索引服务,所述数据仓库预加载数据服务用于存储从数据仓库服务器预加载到数据湖中的数据;所述数据仓库索引服务用于提供索引查询,并从数据仓库预加载服务或数据仓库服务器中获取数据,以传送到数据湖服务器中。本发明采用智能预加载的方式提前加载数据,可以实现数据的快速传输。

Patent Agency Ranking