-
公开(公告)号:CN107506475A
公开(公告)日:2017-12-22
申请号:CN201710803201.9
申请日:2017-09-08
Applicant: 国网辽宁省电力有限公司 , 国网辽宁省电力有限公司电力科学研究院 , 江苏瑞中数据股份有限公司 , 国家电网公司
CPC classification number: G06F17/30705 , G06F17/2735 , G06F17/2765 , G06F17/30194 , G06Q50/06
Abstract: 本发明涉及一种对客户服务文本的分类方法,特别是一种基于Spark的海量电力客户服务文本分类方法。随着智能电网技术的不断发展,电网企业发挥数据资源的战略资产作用,关键在于提升海量数据的管理和支撑能力,实现信息共享,为企业管理提供运营决策分析支持。本发明通过建立电力客户服务情感词典,对客服工单进行分词,分词后的数据存储至HDFS文件,运用Spark从中加载并转换成RDD,预处理后用改良的分类算法进行训练得出模型。本方法可以大幅提升工单数据的分类分析的准确性和高效性,以挖掘客户的真实诉求。
-
公开(公告)号:CN105574074A
公开(公告)日:2016-05-11
申请号:CN201510819767.1
申请日:2015-11-23
Applicant: 江苏瑞中数据股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/2219
Abstract: 本发明公开了一种基于智能电网WAMS的时序大数据存储方法,属于实时数据库技术领域。本发明根据WAMS场景建立相应的键-值存储模型作为数据模型,以每秒钟每一个测点创建一个存储单元,存储单元的长度根据WAMS数据的采样频率设置,在数据加载过程中采用预写日志技术,对数据中值进行压缩,而键保持不变,根据加载数据的规模、加载频率,对数据进行分库。本发明能够满足于智能电网WAMS场景的时序大数据快速加载、查询,具有很强的高可靠性。
-
公开(公告)号:CN104657426A
公开(公告)日:2015-05-27
申请号:CN201510033610.6
申请日:2015-01-22
Applicant: 江苏瑞中数据股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/9535
Abstract: 本发明公开了一种基于统一视图的行列混合数据存储模型的建立方法,以同时满足行列敏感应用的不同需求。本发明方法具体为在原始数据结构的基础上进行数据抽象,标识出需要列式存储的列,对这些列进行维度分析,为每列建立维度值索引表,以此构建星型模型,最后进行数据重组,将原始数据表分成两个部分:事实表和维表,该事实表不包含维表相关列,且该事实表按行存储,将维表、维度值索引表按列存储。本发明在逻辑上基于星型模型进行数据抽象;在存储上将I/O敏感的列进行列式存储,并基于列值域进行逻辑压缩,降低I/O开销与存储空间;在应用上,基于统一视图/表,屏蔽数据存储的异构性,减轻应用开发的复杂性。
-
公开(公告)号:CN103886104A
公开(公告)日:2014-06-25
申请号:CN201410144241.3
申请日:2014-04-11
Applicant: 江苏瑞中数据股份有限公司
CPC classification number: G06F17/30289 , G06Q50/06
Abstract: 本发明公开了一种适用于电力系统的实时数据库管理系统及实现方法,属于数据库技术领域。本发明的实时数据库管理系统包括服务端、实时数据库端和客户端,并利用文件映射、实例ID、版本号、客户端缓存等机制来实现实时数据库的分布式管理。本发明实现了多个数据库实例的透明化,让客户对多个数据库实例的访问视同为对单个实例的访问。本发明有利于数据库全省集中式部署,同时便于全省统一数据规划、数据模型和数据标准,还能满足现有及未来数据接入需求。
-
公开(公告)号:CN104657426B
公开(公告)日:2018-07-03
申请号:CN201510033610.6
申请日:2015-01-22
Applicant: 江苏瑞中数据股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于统一视图的行列混合数据存储模型的建立方法,以同时满足行列敏感应用的不同需求。本发明方法具体为在原始数据结构的基础上进行数据抽象,标识出需要列式存储的列,对这些列进行维度分析,为每列建立维度值索引表,以此构建星型模型,最后进行数据重组,将原始数据表分成两个部分:事实表和维表,该事实表不包含维表相关列,且该事实表按行存储,将维表、维度值索引表按列存储。本发明在逻辑上基于星型模型进行数据抽象;在存储上将I/O敏感的列进行列式存储,并基于列值域进行逻辑压缩,降低I/O开销与存储空间;在应用上,基于统一视图/表,屏蔽数据存储的异构性,减轻应用开发的复杂性。
-
-
-
-