一种基于HIVE的数据增量采集方法

    公开(公告)号:CN114647641B

    公开(公告)日:2025-04-18

    申请号:CN202210368943.4

    申请日:2022-04-08

    Abstract: 本发明公开了一种基于HIVE的数据增量采集方法,涉及大数据采集与数据清洗治理技术领域。该基于HIVE的数据增量采集方法在使用时,只需要配置相关的采集任务和sql脚本任务,将sql脚本放入可执行带参数sql脚本的sql执行工具中,只暴露出表名,创建时间,更新时间,主键,原表可能会删除数据的时间段n,用户只需填入这几个关键信息进行sql执行任务配置,即可统一解决以上问题,保证数据的一致性;sql脚本处理流程复用性强,形式灵活,操作简单,将sql脚本放入执行工具,只需填入相关参数,即可进行各类治理,适用于hive库内所有类型的表及表内不同格式的时间字段的情况。

    一种基于统一平台的主数据管理方法

    公开(公告)号:CN114691793A

    公开(公告)日:2022-07-01

    申请号:CN202210366646.6

    申请日:2022-04-08

    Abstract: 本发明公开了一种基于统一平台的主数据管理方法,涉及数据管理方法技术领域。所述管理方法包括:数据接收模块:用于接收子系统现有产品的初始信息,包括产品的名称及产品的原始参数;编码模块:以特定的命名规则对所述产品的原始参数进行命名,形成产品的唯一编码,并输入到主系统中,每一个编码仅对应一个产品,产品的唯一编码与产品的原始参数之间可以通过特定的映射路径相互转化;解码模块:将产品的唯一编码按照映射路径转化为产品的原始参数,并输出到子系统中。该基于统一平台的主数据管理方法,子系统和主系统之间产品可以互相转码映射,便于统一统计信息、分配资源。

    一种基于HIVE的数据增量采集方法

    公开(公告)号:CN114647641A

    公开(公告)日:2022-06-21

    申请号:CN202210368943.4

    申请日:2022-04-08

    Abstract: 本发明公开了一种基于HIVE的数据增量采集方法,涉及大数据采集与数据清洗治理技术领域。该基于HIVE的数据增量采集方法在使用时,只需要配置相关的采集任务和sql脚本任务,将sql脚本放入可执行带参数sql脚本的sql执行工具中,只暴露出表名,创建时间,更新时间,主键,原表可能会删除数据的时间段n,用户只需填入这几个关键信息进行sql执行任务配置,即可统一解决以上问题,保证数据的一致性;sql脚本处理流程复用性强,形式灵活,操作简单,将sql脚本放入执行工具,只需填入相关参数,即可进行各类治理,适用于hive库内所有类型的表及表内不同格式的时间字段的情况。

    一种基于实时数据库的数据采集存储方法

    公开(公告)号:CN114547045A

    公开(公告)日:2022-05-27

    申请号:CN202210251897.X

    申请日:2022-03-15

    Abstract: 本发明公开了一种基于实时数据库的数据采集存储方法,涉及大数据采集与存储技术领域。包括:S1、启动杀毒软件,对数据库进行扫描,确认无任何流氓软件或病毒植入后,启动数据源实时数据库设备数据;S2、通过以restful接口方式的java项目,定时采集数据;S3、采集到接口数据后,分别存储到实时数据表,N小时数据表和历史数据表。该基于实时数据库的数据采集存储方法将实时采集数据与历史数据分离,用三张表分别存储实时数据、N小时数据、全量历史数据,展示实时数据用实时数据表,查看实时数据趋势用N小时数据表,查询历史数据用历史数据表,这时展示实时数据时页面反馈速度就会比之前显著变短。

    用于计算机的数字孪生智慧大脑平台的系统图形用户界面

    公开(公告)号:CN309043812S

    公开(公告)日:2024-12-31

    申请号:CN202430172364.2

    申请日:2024-03-29

    Abstract: 1.本外观设计产品的名称:用于计算机的数字孪生智慧大脑平台的系统图形用户界面。
    2.本外观设计产品的用途:用于高新区城市管理。
    3.本外观设计产品的设计要点:在于形状和图案。
    4.最能表明设计要点的图片或照片:主视图。
    5.计算机为现有设计,省略其他视图。
    6.图形用户界面的用途:(1)点击主视图中的“智慧土地”进入界面变化状态图1;(2)点击界面变化状态图1中的“智慧交通”进入界面变化状态图2;(3)点击界面变化状态图2中的“智慧水务”进入界面变化状态图3;(4)点击界面变化状态图3中的“智慧园区”进入界面变化状态图4;(5)点击界面变化状态图4中的“时间管控”进入界面变化状态图5。

Patent Agency Ranking