-
公开(公告)号:CN113987003A
公开(公告)日:2022-01-28
申请号:CN202111143295.4
申请日:2021-09-28
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F16/2458 , G06F16/28 , G06K9/62
Abstract: 本发明公开了一种基于数据中台流批一体化的量测数据处理方法,包括以下步骤:(1)采用数据中台的方法,从系统中获取和汇聚多源电网生产数据;(2)结合数据资产信息,使用数据中台流批一体化技术实现多源数据的融合,构建数据融合模型;(3)结合融合数据,实现电网量测数据与结构化数据的关联聚合;(4)基于中台离线计算组件,结合应用需求,实现离线批处理。本发明针对多源数据,采用数据中台进行数据融合,建立数据层级关联关系,通过特定聚类算法对数据进行归类识别,搭建数据共享融合分析模型,对电力数据进行多维分析,精准识别数据特性,建立系统化、常态化数据处理分析业务流程,提升数据价值和提炼数据特征的工作成效。
-
公开(公告)号:CN112541832A
公开(公告)日:2021-03-23
申请号:CN202011361269.4
申请日:2020-11-27
Applicant: 江苏瑞中数据股份有限公司 , 国网电力科学研究院有限公司
IPC: G06Q50/06 , G06F16/215
Abstract: 本发明公开一种基于数据中台的数据质量管理平台,包括量测数据不落地加工处理模块、量测数据在线质量监测模块和数据质量工具模块;所述测量数据不落地加工处理模块通过流计算对量测数据加工处理;所述量测数据在线质量监测模块采用流计算在线监测数据质量异常;所述数据质量工具模块采用离线计算管理数据中台中的数据质量。本发明提供高性能计算平台,满足大规模量测数据质量问题的识别需求,在线流计算的数据质量对比效率大概10万/S,离线数据质量对比效率大概40万/S。
-
公开(公告)号:CN112541014A
公开(公告)日:2021-03-23
申请号:CN202011344669.4
申请日:2020-11-26
Applicant: 江苏瑞中数据股份有限公司 , 国网电力科学研究院有限公司
IPC: G06F16/2458 , G06F16/22
Abstract: 本发明公开一种基于数据中台的量测数据访问系统,从下而上依次包括基础服务层、应用服务层和接口服务层;所述基础服务层提供查询引擎,包括断面/历史查询引擎、实时查询引擎和统计分析引擎;所述接口服务层统一各类数据库的量测数据访问接口;所述服务层提供相应服务,包括实时查询服务、断面/历史查询服务和统计分析服务。本发明提供多种查询引擎,提高量测数据的快速查询与分析能力,实现实时数据查询性能10万/秒,历史数据查询性能8万/秒的访问效率。
-
公开(公告)号:CN104407879B
公开(公告)日:2018-02-02
申请号:CN201410566127.X
申请日:2014-10-22
Applicant: 江苏瑞中数据股份有限公司
IPC: G06F9/445
Abstract: 本发明公开了一种电网时序大数据并行加载方法,以解决多客户端并行加载海量历史时序数据时遇到的不能并行加载而产生等待现象的问题。本发明通过对索引映射表做分区处理、根据待加载的数据量的大小对历史时序数据存储表做分区预处理、根据各数据节点上所分配的历史时序数据存储表分区的范围,对待加载的海量历史时序数据做保持数据局部性的处理,经过上述处理后能够有效减少并行加载海量历史时序数据时多客户端读写索引映射表文件遇到的磁盘IO冲突和集群不同节点之间网络通信开销,避免单节点加载海量历史时序数据时负载过重带来的性能问题。本方法能充分利用分布式并行处理能力,大大减少海量历史时序数据加载的时间。
-
公开(公告)号:CN104104738B
公开(公告)日:2018-02-02
申请号:CN201410385448.X
申请日:2014-08-06
Applicant: 江苏瑞中数据股份有限公司
Abstract: 本发明公开了一种基于FTP的数据交换系统,以实现电力系统数据的统一交换,本发明整个系统主要包括引擎(节点)、规则库、管理服务器、管理工具、开发接口,本数据交换系统基于标准数据规范和接口标准,配置数据交换服务,通过不同方式实现第三方系统数据的数据汇聚、整合与发布。本系统包括的功能模块主要有:数据提取模块、正向数据加工处理模块、批量数据传输模块、反向数据加工处理模块和数据存放模块。通过采用本发明的技术方案,能够实现企业或机构信息系统“横向集成,纵向贯通”的共享通道,实现对大规模数据的准确传输,保障电力系统中上下信息畅通、数据共享与应用集成。
-
公开(公告)号:CN117688030A
公开(公告)日:2024-03-12
申请号:CN202311690998.8
申请日:2023-12-11
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06F16/2453 , G06F16/22 , G06F16/25
Abstract: 本发明公开了一种基于物化内存的实时量测系统,包括源数据层,存储服务层和应用层;源数据层包括对象模型,述对象模型包括对象的模型属性数据和采集量测数据;存储服务层包括内存模型服务和实时数据库,内存模型服务包括模型存储模块、内存服务模块和内存模型服务API接口;模型存储模块用于提供模型属性数据的固化存储和物化加载功能;内存服务模块用于通过分段索引法实现面向对象属性检索;所述内存模型服务API接口用于统一对外提供面向对象的模型存储及访问接口;应用层用于获取相关对象模型,量测数据;本发明解决了传统关系数据索引存储资源占用过大的问题,提升了查询效率。
-
公开(公告)号:CN116824295A
公开(公告)日:2023-09-29
申请号:CN202310709870.5
申请日:2023-06-15
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06V10/774 , G06V10/764 , G06V10/82 , G06N3/084
Abstract: 本发明公开了一种针对Mixup数据增强的长尾数据处理方法及装置,方法包括:输入N对原始长尾数据集图片及其对应标签;通过模拟Beta分布得到一个服从Beta分布的参数θ,基于参数θ使用Mixup按比例结合两个样本,生成新样本;将新样本作为模型的输入,得到输出;基于θ计算使用Mixup后的类间间隔;将变换后的类间间隔应用到空间变换间隔损失函数,计算总损失并更新模型参数,完成模型的训练;利用训练好的模型对长尾分布的图像数据进行分类识别。本发明利用参数θ变换类间间隔,解决了长尾数据集中的重平衡损失函数与使用Mixup后收缩的类间间隔不匹配的问题,提高图像识别精度。
-
公开(公告)号:CN116596026A
公开(公告)日:2023-08-15
申请号:CN202310414615.8
申请日:2023-04-18
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
IPC: G06N3/045 , G06N3/0442 , G06N3/048 , G06N3/047 , G06Q30/015 , G06F16/332 , G06F40/30
Abstract: 本发明公开了基于改进Seq2Seq模型的电力智能客服交互方法,涉及电力智能客服技术领域,包括以下步骤:基于Seq2Seq模型,通过融合Attention+BiLSTM+BiGRU,构建改进Seq2Seq模型,其中,BiLSTM和BiGRU用于为Seq2Seq模型提取电力用户输入问句的浅层及深层语义特征,Attention用于对Seq2Seq模型的隐藏层状态做概率分布处理;基于改进Seq2Seq模型,通过采集电力用户输入问句的数据特征,并进行数据处理后,进行语义识别,获取电路用户的语义信息,生成电力用户输入问句的问题答案;本发明提到的模型的回复结果更加贴合深层语义信息,并加强了上下文连贯性。
-
公开(公告)号:CN114004296A
公开(公告)日:2022-02-01
申请号:CN202111281895.7
申请日:2021-11-01
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司 , 国网江苏省电力有限公司
Abstract: 本发明公开一种基于电力负荷特征反向提取监测点的方法,包括(1)采集并预处理电力负荷数据;(2)通过聚类分析建立相似用户历史电力负荷序列集;(3)通过单用户当月电力负荷数据变化趋势,划分用户电力负荷波动区间,构建单用户各波动区间的历史电力负荷序列集;(4)获得用户离群负荷序列,通过匹配相同波动区间的用户历史电力负荷序列集、相似用户历史电力负荷序列集获得用户离群负荷序列的异常程度并输出异常序列。本发明提高检测效率、降低成本消耗;提高单用户异常电力负荷检测精度;提高异常检测的时效性;用户异常检测的准确性提升6个百分点且时效性提升至每20分钟刷新一次异常检测结果。
-
公开(公告)号:CN113901004A
公开(公告)日:2022-01-07
申请号:CN202111253174.5
申请日:2021-10-27
Applicant: 江苏瑞中数据股份有限公司 , 南瑞集团有限公司
Abstract: 本发明公开了一种数据中台化的大数据复杂实时计算的方法,包括以下步骤:(1)增量表的处理;(2)增量数据和全量数据的处理。本方法通过增量日志表的处理,实现了大数据复杂实时计算;本方法可以支撑实时报表、实时看板的数据需求;本方法在原有架构的基础之上,充分调度空闲资源,没有新增任何额外组件成本;本方法充分考虑业务与增量操作的关系,减少程序运行复杂度,大幅度缩短程序调度时间。
-
-
-
-
-
-
-
-
-