一种基于数据中台的数据全景监控方法及系统

    公开(公告)号:CN116205396A

    公开(公告)日:2023-06-02

    申请号:CN202211580140.1

    申请日:2022-12-09

    Abstract: 本发明公开了一种基于数据中台的数据全景监控方法及系统,所述方法包括:通过定时抽取元仓数据、调用组件接口数据的方式,采集数据中台监测需求的基础数据;根据数据中台实际监测需求,按照指定的数据模型规范设计要求,将采集到的数据加工成统一数据模型表,进行标准化存储;将标准化的数据进行逻辑加工及分析处理,将处理结果形成明细表及结果汇总表存储于数据中台数据库中,构建表、任务、应用的血缘关系链路,并对异常情况进行告警;将数据分析产生的结果按照功能模块分类进行可视化展示。本发明可以快速掌握数据中台数据存储、计算、应用支撑能力,有助于提升数据中台运维水平。

    一种基于HBase的智能电网采集监测数据存储系统及存储方法

    公开(公告)号:CN110807032A

    公开(公告)日:2020-02-18

    申请号:CN201910957072.8

    申请日:2019-10-10

    Abstract: 本发明提供一种基于HBase的智能电网采集监测数据存储系统及存储方法,其中设置若干储存单元,每个储存单元中存储数据的数据格式包括表名、行键、列族、列名、采集检测点采样值;其中,行键由设备编码及采集监测点类型数据组成;单列族由单个字符“I”组成;列名由日时分秒数据组成。本发明中将行键、列族的部分信息转移存储,缩短行键、列族长度,精简非必要信息,降低冗余,提高空间利用率,提高采集监测数据的加载和访问性能。同时,合理充分的考虑行键(RowKey)的分布,采用预分区的方式,提高采集监测数据的加载性能。

    一种文件传输的方法与系统

    公开(公告)号:CN108848197A

    公开(公告)日:2018-11-20

    申请号:CN201811120012.2

    申请日:2018-09-19

    Abstract: 本发明公开了一种文件传输的方法和系统,文件传输的发送端与接收端所处网络相互隔离,其中传输方法包括如下步骤:1、构建文件间接传输网络,包括文件发送端接口、文件接收端接口、至少一个主控模型、多个转发模块;2、文件发送端接口根据待发送的文件信息生成控制信息,并发送至主控模块;3、主控模块生成本次文件传输任务所经过的路由信息,并将路由信息和控制信息发送至传输路径上所有的转发模块;4、文件接收端接口启动接收;5、主控模块通知文件发送端发送文件;文件发送端接口启动发送,传输路径上的各转发模块根据路由信息转发文件;6、文件接收端接口完成接收。该方法可以实现处于非直通网络下的应用系统间文件的可靠、高效传输。

    一种文件传输的方法与系统

    公开(公告)号:CN108848197B

    公开(公告)日:2021-06-08

    申请号:CN201811120012.2

    申请日:2018-09-19

    Abstract: 本发明公开了一种文件传输的方法和系统,文件传输的发送端与接收端所处网络相互隔离,其中传输方法包括如下步骤:1、构建文件间接传输网络,包括文件发送端接口、文件接收端接口、至少一个主控模型、多个转发模块;2、文件发送端接口根据待发送的文件信息生成控制信息,并发送至主控模块;3、主控模块生成本次文件传输任务所经过的路由信息,并将路由信息和控制信息发送至传输路径上所有的转发模块;4、文件接收端接口启动接收;5、主控模块通知文件发送端发送文件;文件发送端接口启动发送,传输路径上的各转发模块根据路由信息转发文件;6、文件接收端接口完成接收。该方法可以实现处于非直通网络下的应用系统间文件的可靠、高效传输。

    基于日志解析技术的PG数据库到Hadoop平台的数据同步复制方法

    公开(公告)号:CN108228756A

    公开(公告)日:2018-06-29

    申请号:CN201711398111.2

    申请日:2017-12-21

    Abstract: 本发明属于电力系统数据库技术领域,公开了一种基于日志解析技术的PostgresSQL数据库到Hadoop平台的数据同步复制方法。本发明开启PostgresSQL数据库的逻辑复制功能,并保证最大日志发送进程数大于设定的次数,修改数据库用户设置使得能直接使用流复制协议,采用日志解析模块对所需要处理的PostgresSQL数据库的逻辑日志进行规则过滤,并按照事务完整性发送完整的数据;采用消息接收模块根据配置的接收信息,接收来自日志解析模块的数据,并按照本地规则写入到本地用于数据加载的缓存数据文件中;采用SQL适配模块读取缓存数据文件,并根据Hadoop平台的类型,转换成通用标准SQL数据语句格式,将数据加载进入Hadoop平台。本发明提高了数据库同步复制的效率。

Patent Agency Ranking