一种基于数据中台流批一体化的量测数据处理方法

    公开(公告)号:CN113987003A

    公开(公告)日:2022-01-28

    申请号:CN202111143295.4

    申请日:2021-09-28

    Abstract: 本发明公开了一种基于数据中台流批一体化的量测数据处理方法,包括以下步骤:(1)采用数据中台的方法,从系统中获取和汇聚多源电网生产数据;(2)结合数据资产信息,使用数据中台流批一体化技术实现多源数据的融合,构建数据融合模型;(3)结合融合数据,实现电网量测数据与结构化数据的关联聚合;(4)基于中台离线计算组件,结合应用需求,实现离线批处理。本发明针对多源数据,采用数据中台进行数据融合,建立数据层级关联关系,通过特定聚类算法对数据进行归类识别,搭建数据共享融合分析模型,对电力数据进行多维分析,精准识别数据特性,建立系统化、常态化数据处理分析业务流程,提升数据价值和提炼数据特征的工作成效。

    一种电网时序大数据并行加载方法

    公开(公告)号:CN104407879B

    公开(公告)日:2018-02-02

    申请号:CN201410566127.X

    申请日:2014-10-22

    Abstract: 本发明公开了一种电网时序大数据并行加载方法,以解决多客户端并行加载海量历史时序数据时遇到的不能并行加载而产生等待现象的问题。本发明通过对索引映射表做分区处理、根据待加载的数据量的大小对历史时序数据存储表做分区预处理、根据各数据节点上所分配的历史时序数据存储表分区的范围,对待加载的海量历史时序数据做保持数据局部性的处理,经过上述处理后能够有效减少并行加载海量历史时序数据时多客户端读写索引映射表文件遇到的磁盘IO冲突和集群不同节点之间网络通信开销,避免单节点加载海量历史时序数据时负载过重带来的性能问题。本方法能充分利用分布式并行处理能力,大大减少海量历史时序数据加载的时间。

    一种基于FTP的数据交换系统

    公开(公告)号:CN104104738B

    公开(公告)日:2018-02-02

    申请号:CN201410385448.X

    申请日:2014-08-06

    Abstract: 本发明公开了一种基于FTP的数据交换系统,以实现电力系统数据的统一交换,本发明整个系统主要包括引擎(节点)、规则库、管理服务器、管理工具、开发接口,本数据交换系统基于标准数据规范和接口标准,配置数据交换服务,通过不同方式实现第三方系统数据的数据汇聚、整合与发布。本系统包括的功能模块主要有:数据提取模块、正向数据加工处理模块、批量数据传输模块、反向数据加工处理模块和数据存放模块。通过采用本发明的技术方案,能够实现企业或机构信息系统“横向集成,纵向贯通”的共享通道,实现对大规模数据的准确传输,保障电力系统中上下信息畅通、数据共享与应用集成。

    一种基于物化内存的实时量测系统

    公开(公告)号:CN117688030A

    公开(公告)日:2024-03-12

    申请号:CN202311690998.8

    申请日:2023-12-11

    Abstract: 本发明公开了一种基于物化内存的实时量测系统,包括源数据层,存储服务层和应用层;源数据层包括对象模型,述对象模型包括对象的模型属性数据和采集量测数据;存储服务层包括内存模型服务和实时数据库,内存模型服务包括模型存储模块、内存服务模块和内存模型服务API接口;模型存储模块用于提供模型属性数据的固化存储和物化加载功能;内存服务模块用于通过分段索引法实现面向对象属性检索;所述内存模型服务API接口用于统一对外提供面向对象的模型存储及访问接口;应用层用于获取相关对象模型,量测数据;本发明解决了传统关系数据索引存储资源占用过大的问题,提升了查询效率。

Patent Agency Ranking