-
公开(公告)号:CN116205396A
公开(公告)日:2023-06-02
申请号:CN202211580140.1
申请日:2022-12-09
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
Abstract: 本发明公开了一种基于数据中台的数据全景监控方法及系统,所述方法包括:通过定时抽取元仓数据、调用组件接口数据的方式,采集数据中台监测需求的基础数据;根据数据中台实际监测需求,按照指定的数据模型规范设计要求,将采集到的数据加工成统一数据模型表,进行标准化存储;将标准化的数据进行逻辑加工及分析处理,将处理结果形成明细表及结果汇总表存储于数据中台数据库中,构建表、任务、应用的血缘关系链路,并对异常情况进行告警;将数据分析产生的结果按照功能模块分类进行可视化展示。本发明可以快速掌握数据中台数据存储、计算、应用支撑能力,有助于提升数据中台运维水平。
-
公开(公告)号:CN110807032A
公开(公告)日:2020-02-18
申请号:CN201910957072.8
申请日:2019-10-10
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
Abstract: 本发明提供一种基于HBase的智能电网采集监测数据存储系统及存储方法,其中设置若干储存单元,每个储存单元中存储数据的数据格式包括表名、行键、列族、列名、采集检测点采样值;其中,行键由设备编码及采集监测点类型数据组成;单列族由单个字符“I”组成;列名由日时分秒数据组成。本发明中将行键、列族的部分信息转移存储,缩短行键、列族长度,精简非必要信息,降低冗余,提高空间利用率,提高采集监测数据的加载和访问性能。同时,合理充分的考虑行键(RowKey)的分布,采用预分区的方式,提高采集监测数据的加载性能。
-
公开(公告)号:CN108848197A
公开(公告)日:2018-11-20
申请号:CN201811120012.2
申请日:2018-09-19
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: H04L29/08
Abstract: 本发明公开了一种文件传输的方法和系统,文件传输的发送端与接收端所处网络相互隔离,其中传输方法包括如下步骤:1、构建文件间接传输网络,包括文件发送端接口、文件接收端接口、至少一个主控模型、多个转发模块;2、文件发送端接口根据待发送的文件信息生成控制信息,并发送至主控模块;3、主控模块生成本次文件传输任务所经过的路由信息,并将路由信息和控制信息发送至传输路径上所有的转发模块;4、文件接收端接口启动接收;5、主控模块通知文件发送端发送文件;文件发送端接口启动发送,传输路径上的各转发模块根据路由信息转发文件;6、文件接收端接口完成接收。该方法可以实现处于非直通网络下的应用系统间文件的可靠、高效传输。
-
公开(公告)号:CN108848197B
公开(公告)日:2021-06-08
申请号:CN201811120012.2
申请日:2018-09-19
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: H04L29/08
Abstract: 本发明公开了一种文件传输的方法和系统,文件传输的发送端与接收端所处网络相互隔离,其中传输方法包括如下步骤:1、构建文件间接传输网络,包括文件发送端接口、文件接收端接口、至少一个主控模型、多个转发模块;2、文件发送端接口根据待发送的文件信息生成控制信息,并发送至主控模块;3、主控模块生成本次文件传输任务所经过的路由信息,并将路由信息和控制信息发送至传输路径上所有的转发模块;4、文件接收端接口启动接收;5、主控模块通知文件发送端发送文件;文件发送端接口启动发送,传输路径上的各转发模块根据路由信息转发文件;6、文件接收端接口完成接收。该方法可以实现处于非直通网络下的应用系统间文件的可靠、高效传输。
-
公开(公告)号:CN108228756A
公开(公告)日:2018-06-29
申请号:CN201711398111.2
申请日:2017-12-21
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F17/30
Abstract: 本发明属于电力系统数据库技术领域,公开了一种基于日志解析技术的PostgresSQL数据库到Hadoop平台的数据同步复制方法。本发明开启PostgresSQL数据库的逻辑复制功能,并保证最大日志发送进程数大于设定的次数,修改数据库用户设置使得能直接使用流复制协议,采用日志解析模块对所需要处理的PostgresSQL数据库的逻辑日志进行规则过滤,并按照事务完整性发送完整的数据;采用消息接收模块根据配置的接收信息,接收来自日志解析模块的数据,并按照本地规则写入到本地用于数据加载的缓存数据文件中;采用SQL适配模块读取缓存数据文件,并根据Hadoop平台的类型,转换成通用标准SQL数据语句格式,将数据加载进入Hadoop平台。本发明提高了数据库同步复制的效率。
-
公开(公告)号:CN117634918A
公开(公告)日:2024-03-01
申请号:CN202311620795.1
申请日:2023-11-30
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06Q10/0637 , G06F16/25 , G06F16/2458 , G06F16/26 , G06V30/19 , G06Q50/06
Abstract: 本发明公开了一种基于电力业务管理的数字切片设计方法及系统,所述方法步骤如下:提炼电力全业务管理模块,搭建全业务管理体系框架,提取全业务核心管理业务项并标记多层级共性业务项,识别全环节管理要素及管理流程,挖掘业务管理问题及业务提升节点;搭建业务运营指标体系,进行业务全链路指标分析,拆解关键节点影响因子及组成因子,设计节点指标,搭建业务运营指标体系;设计数字化管理协同子应用,设计数字化应用实现各协同场景效率提升;设计数字化管理切片体系,采用数据可视化及数据子应用场景化融合的方式,实现数字化管理切片体系的设计。
-
公开(公告)号:CN115827598A
公开(公告)日:2023-03-21
申请号:CN202211516279.X
申请日:2022-11-30
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F16/21 , G06F16/215 , G06F16/22 , G06F16/28 , G06F16/26
Abstract: 本发明公开了一种ICEBERG数据湖的数据质量监测方法和系统,所述方法采用异常数据日志数据、数据量核查等方式监测数据湖系统中的数据质量,所述系统数据处理架构分为四层,分别是数据采集层、日志存储层、数据质量分析层与数据质量展示层。本发明通过离线和实时方式,能够帮助管理员及时发现与解决数据质量问题;本发明数据采用日志获取的方式进行监测,对运行系统的侵入性进一步降低,有利于全面监测数据湖所有系统,提高数据质量;本发明监控模块之间相互独立,可以全面监控数据湖系统质量信息,也可以根据现场情况单独选择需要模块监控部署。
-
公开(公告)号:CN108052635A
公开(公告)日:2018-05-18
申请号:CN201711387611.6
申请日:2017-12-20
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F17/30
Abstract: 本发明属于电力系统数据库技术领域,公开了一种异构数据源统一联合查询方法。本发明获得数据源接口,对标准SQL进行语法解析,生成SQL执行计划,执行SQL计划,将不同数据源的数据加载到内存中,对已加载的数据进行并行计算,返回计算结果到客户端。本发明减少了查询各异构数据源时所需的连接次数,能够在特定业务场景下满足对各异构数据源中进行联合查询的需求。
-
公开(公告)号:CN108959369B
公开(公告)日:2021-11-30
申请号:CN201810496314.3
申请日:2018-05-22
Applicant: 国网浙江省电力有限公司电力科学研究院 , 国网浙江省电力有限公司 , 江苏瑞中数据股份有限公司
IPC: G06F16/2455 , G06F16/25 , G06F16/22 , G06Q50/06
Abstract: 本发明公开了一种海量数据平台与大数据平台融合方法,该平台包括数据采集层、数据缓存层和数据存储层;该融合方法包括:数据采集层采用分布式消息队列Kafka机制,实现测点数据传输;数据缓存层采用REDIS键值型内存数据库,实现用户即席查询需求;数据存储层采用HBASE列式存储,结合测点数据时序特征,对测点数据特征进行列式存储,本发明提出的海量数据平台与大数据平台融合方法,实现了海量平台与大数据平台最佳融合,通过统一技术路线、统一技术支持、明确职责分工,实现大数据应用服务平台化,全面支撑各专业大数据应用需求,解决公司各专业的大数据应用需求,保障数据和业务的连续性。
-
公开(公告)号:CN103914501B
公开(公告)日:2018-06-22
申请号:CN201310494306.2
申请日:2013-10-21
Applicant: 国家电网公司 , 国网浙江省电力公司湖州供电公司 , 国网浙江长兴县供电公司 , 江苏瑞中数据股份有限公司
Abstract: 本发明公开了一种基于海量实时数据库的电力行业实时报表方法,属于电力系统自动化技术领域。本发明在编制Excel自定义公式时,按照电力自动化及信息化对报表业务数据及统计数据的要求,利用电力系统海量实时数据库提供的数据获取接口,实现公式对所需数据的获取,然后完成对已编制公式的COM类库封装并注册,然后在Excel加载项中以自动化加载项的方式将已编制的公式添加到Excel中,最后在实时报表客户端界面中利用已编制的公式实时获取、刷新电力系统海量实时数据库中的实时数据,形成实时报表。本发明解决了电力行业海量数据报表制作复杂、数据统计分析耗时较长的问题,通过使用本方法,用户可以快速定制所需的个性化报表模板、实现实时报表。
-
-
-
-
-
-
-
-
-