公开(公告)号：CN114647641A

公开(公告)日：2022-06-21

申请号：CN202210368943.4

申请日：2022-04-08

Applicant: 河钢数字技术股份有限公司

Inventor： 郑士良 ,  刘威宪 ,  黎荣华 ,  安宝 ,  刘东东 ,  林楠 ,  陈文豪 ,  张夏楠

IPC: G06F16/215 ,  G06F16/22 ,  G06F16/23 ,  G06F16/2458

Abstract: 本发明公开了一种基于HIVE的数据增量采集方法，涉及大数据采集与数据清洗治理技术领域。该基于HIVE的数据增量采集方法在使用时，只需要配置相关的采集任务和sql脚本任务，将sql脚本放入可执行带参数sql脚本的sql执行工具中，只暴露出表名，创建时间，更新时间，主键，原表可能会删除数据的时间段n，用户只需填入这几个关键信息进行sql执行任务配置，即可统一解决以上问题，保证数据的一致性；sql脚本处理流程复用性强，形式灵活，操作简单，将sql脚本放入执行工具，只需填入相关参数，即可进行各类治理，适用于hive库内所有类型的表及表内不同格式的时间字段的情况。

公开(公告)号：CN114547045A

公开(公告)日：2022-05-27

申请号：CN202210251897.X

申请日：2022-03-15

Applicant: 河钢数字技术股份有限公司

Inventor： 郑士良 ,  刘威宪 ,  黎荣华 ,  安宝 ,  苑文策 ,  刘东东 ,  林楠 ,  张夏楠

IPC: G06F16/22 ,  G06F16/23 ,  G06F16/25 ,  G06F16/28 ,  G06F21/56 ,  G06F11/14

Abstract: 本发明公开了一种基于实时数据库的数据采集存储方法，涉及大数据采集与存储技术领域。包括：S1、启动杀毒软件，对数据库进行扫描，确认无任何流氓软件或病毒植入后，启动数据源实时数据库设备数据；S2、通过以restful接口方式的java项目，定时采集数据；S3、采集到接口数据后，分别存储到实时数据表，N小时数据表和历史数据表。该基于实时数据库的数据采集存储方法将实时采集数据与历史数据分离，用三张表分别存储实时数据、N小时数据、全量历史数据，展示实时数据用实时数据表，查看实时数据趋势用N小时数据表，查询历史数据用历史数据表，这时展示实时数据时页面反馈速度就会比之前显著变短。

公开(公告)号：CN114647641B

公开(公告)日：2025-04-18

申请号：CN202210368943.4

申请日：2022-04-08

Applicant: 河钢数字技术股份有限公司

Inventor： 郑士良 ,  刘威宪 ,  黎荣华 ,  安宝 ,  刘东东 ,  林楠 ,  陈文豪 ,  张夏楠

IPC: G06F16/215 ,  G06F16/22 ,  G06F16/23 ,  G06F16/2458

Abstract: 本发明公开了一种基于HIVE的数据增量采集方法，涉及大数据采集与数据清洗治理技术领域。该基于HIVE的数据增量采集方法在使用时，只需要配置相关的采集任务和sql脚本任务，将sql脚本放入可执行带参数sql脚本的sql执行工具中，只暴露出表名，创建时间，更新时间，主键，原表可能会删除数据的时间段n，用户只需填入这几个关键信息进行sql执行任务配置，即可统一解决以上问题，保证数据的一致性；sql脚本处理流程复用性强，形式灵活，操作简单，将sql脚本放入执行工具，只需填入相关参数，即可进行各类治理，适用于hive库内所有类型的表及表内不同格式的时间字段的情况。