一种数据抽取、转换及装载的方法

    公开(公告)号:CN105787122A

    公开(公告)日:2016-07-20

    申请号:CN201610180936.6

    申请日:2016-03-28

    CPC classification number: G06F16/254

    Abstract: 一种数据抽取、转换及装载的方法,包括转换的过程步骤,数据源组装的过程步骤,规定数据流向的过程步骤,执行顺序连线的过程和指定任务设置执行条件的步骤。本发明设有两种脚本文件,转换和工作,转换完成针对数据的基础转换,工作则完成整个工作流的控制。解决大规模数据分析利用不能快速响应业务的变化、数据复用程度低、技术和业务混杂、以及分析效率和交付质量不高的问题。

    一种基于数据通道的用电信息数据高效处理方法

    公开(公告)号:CN105786945A

    公开(公告)日:2016-07-20

    申请号:CN201510993139.5

    申请日:2015-12-24

    CPC classification number: Y02D10/45 G06F16/25 G06F16/284 H04L67/10

    Abstract: 本发明公开了一种基于数据通道的用电信息数据高效处理方法,包括如下步骤:S1,基于责任区的分布式采集前置机对获取的报文信息进行解析,把解析结果发送给基于内存的数据总线;S2,数据总线按业务类型划分成若干数据通道,当收到分布式采集前置机发送来的解析结果之后,获取报文信息的业务类型,通过业务类型对应的数据通道进行业务加工,形成业务数据;S3,判断内存库中存储的业务数据是否达到存储阀值,如果没有达到,则把业务数据存储在内存库中;否则转向步骤S4;S4,把内存库中的业务数据写入关系数据库。该方法基于业务的专享的数据通道,能减少逻辑数据容量,便于信息快速检索。

    异构环境下电力数据公共访问服务接口的实现方法及系统

    公开(公告)号:CN101807816A

    公开(公告)日:2010-08-18

    申请号:CN200910089518.6

    申请日:2009-07-22

    CPC classification number: Y02E60/7869 Y04S40/128

    Abstract: 一种异构环境下电力数据公共访问服务接口的实现方法,包括对公共数据服务的管理和调用;任一自动化系统向数据服务客户端提出业务数据和用户数据请求;由公共数据访问服务接口进行处理,与公共数据服务处理器建立链接;由公共数据服务处理器接收数据服务请求,定位自动化系统并建立链接,收集该自动化系统的数据,与公共数据访问服务接口建立链接;将采集完毕后的结果数据最终返回给最初的自动化系统。本发明所提供的访问数据资源的接口是一致的。用户通过公共数据服务统一的接口就可以获取到存在于任一自动化系统的数据资源或处理后的结果数据,按照用户的要求获取满足条件的数据。

    一种分布式全文检索系统

    公开(公告)号:CN102831253B

    公开(公告)日:2015-01-21

    申请号:CN201210362934.0

    申请日:2012-09-25

    Abstract: 本发明属于数据处理领域,特别是涉及一种分布式全文检索系统。所述系统由设置在各网络节点上的全文检索服务器组成,包括分布式节点服务器及系统中心服务器;所述分布式节点服务器包括文件信息检索模块及服务器间通讯模块;所述文件信息检索模块对本节点服务器上文件定时进行全文信息的检索,按照定义好的词库进行切词,提取关键词信息并建立索引文件;所述服务器间通讯模块实现分布式节点服务器与系统中心服务器与之间的信息交换,所述系统中心服务器对各节点服务器传送的索引文件进行合并,向用户提供查询接口,将符合的文件作为查询结果展示给用户。

Patent Agency Ranking