一种通用的时序数据的快速迁移方法

    公开(公告)号:CN108228749A

    公开(公告)日:2018-06-29

    申请号:CN201711390964.1

    申请日:2017-12-21

    Abstract: 本发明属于电力系统数据库技术领域,公开了一种通用的时序数据的快速迁移方法。本发明创建数据迁移通道,配置数据源信息和目标数据库信息,配置数据源和目标数据库的测点映射关系,启动数据迁移通道,监控数据迁移通道中的数据,开始数据采集,采集到的数据流入到数据迁移通道中,当数据迁移通道中有数据流入时,将数据压入数据消息队列中,等候流处理器线程进行处理,流处理器线程实时监控数据消息队列,当数据消息队列不为空时,流水处理线程开始工作,采用相应的数据处理方法对数据进行处理,并将数据转移到目标数据库。本发明实现了一种时序数据的通用迁移技术方案。

    基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法

    公开(公告)号:CN108228755A

    公开(公告)日:2018-06-29

    申请号:CN201711397461.7

    申请日:2017-12-21

    Abstract: 本发明属于电力系统数据库技术领域,公开了一种基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法。本发明开启MySQL的二进制日志记录功能,并修改为基于行的复制模式,采用日志解析模块对所需要处理的MySQL数据库的逻辑日志进行规则过滤,并按照事务完整性发送完整的数据;采用消息接收模块根据配置的接收信息,接收来自日志解析模块的数据,并按照本地规则写入到本地用于数据加载的缓存数据文件中;采用SQL适配模块读取缓存数据文件,并根据Hadoop平台的类型,转换成通用标准SQL数据语句格式,将数据加载进入Hadoop平台。本发明提高了数据库同步复制的效率。

    基于全息时标量测电网数据计算值及计算值分量分析方法

    公开(公告)号:CN106777313A

    公开(公告)日:2017-05-31

    申请号:CN201611265539.5

    申请日:2016-12-30

    CPC classification number: G06F17/30548 G06F17/3056 G06F2216/03 G06Q50/06

    Abstract: 本发明公开了一种基于全息时标量测电网数据计算值及计算值分量分析方法,包括计算值分析阶段和计算值分量分析阶段,首先通过计算值分析阶段分析计算值是否发生突变,若计算值发生突变,则进入计算值分量分析阶段;然后通过计算值分量分析阶段对引起计算值突变的计算值分量进行定位;最后将计算值突变检测结果以及引起计算值突变的计算值分量检测结果发送至应用前端。利用了全息时标量测数据可以准确定位某一时刻的断网断面数据的特性,采用变化即计算的策略对计算值进行重新计算,并对计算结果进行数据突变分析,由此可以有效捕捉地区总负荷等计算值的异常,使得捕捉结果更佳精确真实。

    一种电网时序大数据并行加载方法

    公开(公告)号:CN104407879A

    公开(公告)日:2015-03-11

    申请号:CN201410566127.X

    申请日:2014-10-22

    Abstract: 本发明公开了一种电网时序大数据并行加载方法,以解决多客户端并行加载海量历史时序数据时遇到的不能并行加载而产生等待现象的问题。本发明通过对索引映射表做分区处理、根据待加载的数据量的大小对历史时序数据存储表做分区预处理、根据各数据节点上所分配的历史时序数据存储表分区的范围,对待加载的海量历史时序数据做保持数据局部性的处理,经过上述处理后能够有效减少并行加载海量历史时序数据时多客户端读写索引映射表文件遇到的磁盘IO冲突和集群不同节点之间网络通信开销,避免单节点加载海量历史时序数据时负载过重带来的性能问题。本方法能充分利用分布式并行处理能力,大大减少海量历史时序数据加载的时间。

    一种基于全息时标量测的电网数据跳变检测与分析系统

    公开(公告)号:CN104504504A

    公开(公告)日:2015-04-08

    申请号:CN201410758940.7

    申请日:2014-12-10

    Abstract: 本发明公开了一种基于全息时标量测的电网数据跳变检测与分析系统,以实现对历史时段的任意量测的数据跳变情况进行识别,并准确地进行记录、统计和分析。本发明利用调度自动化系统中时间序列数据库存储的有功、电压等量测数据,采用精细化的数据跳变判断规则,对电网历史数据跳变进行精确的检测,并能够推送至应用前端,另外将得到的数据跳变信息存储至调度自动化系统的关系数据库中,对数据跳变及其关联的厂站、RTU设备等进行统计分析,辅助监控人员高效地处理数据跳变问题。本发明提高了数据跳变检测的准确性与效率,支持对任意时段的数据跳变进行分析、重新统计,有效地提升了电网数据跳变的应用水平。

Patent Agency Ranking