公开(公告)号：CN105389402A

公开(公告)日：2016-03-09

申请号：CN201511008901.6

申请日：2015-12-29

Applicant: 曙光信息产业(北京)有限公司

Inventor： 刘心光 ,  谢莹莹 ,  郭庆 ,  宋怀明 ,  惠润海

IPC: G06F17/30

CPC classification number: G06F17/30566 ,  G06F17/30303 ,  G06F17/30575

Abstract: 本发明提供了一种面向大数据的ETL方法和装置，该方法包括：获取参数配置文件；根据参数配置文件对待同步数据进行参数配置；通过ETL方法对参数配置后的数据进行同步。可以实现多种数据源间数据的导入导出功能，以及通过可视化界面的简单配置，实现基于hdfs数据的多种数据转换操作。

公开(公告)号：CN104504154A

公开(公告)日：2015-04-08

申请号：CN201510018619.X

申请日：2015-01-14

Applicant: 曙光信息产业(北京)有限公司

Inventor： 李晋钢 ,  宋怀明 ,  狄静舒 ,  惠润海

IPC: G06F17/30

CPC classification number: G06F17/30489

Abstract: 本发明提供了一种数据聚合查询的方法及装置，方法包括：第一级节点对各自存储的数据执行聚合查询，所述节点为无共享架构下的节点；将第一级节点执行聚合查询后得到的数据汇总至第二级节点；第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。装置包括：第一执行模块，用于在第一级节点对各自存储的数据执行聚合查询，所述节点为无共享架构下的节点；汇总模块，用于将第一级节点执行聚合查询后得到的数据汇总至第二级节点；第二执行模块，用于在第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。采用本发明的技术方案，能够有效降低了数据聚合查询的网络通信开销，提高了数据聚合查询的效率。

公开(公告)号：CN104486107A

公开(公告)日：2015-04-01

申请号：CN201410742374.0

申请日：2014-12-05

Applicant: 曙光信息产业(北京)有限公司

Inventor： 刘成 ,  惠润海 ,  宋怀明

IPC: H04L12/24

Abstract: 本发明提供了一种日志采集装置及方法，其中，日志采集装置包括：日志监控模块，用于监控当前服务器上的多个应用系统的日志文件；确定各日志文件新增的记录，并保存各日志文件以及新增的记录；数据传输服务模块，用于将新增的记录进行跨网传输以导入云平台的Hadoop分布式文件系统功能，和/或，根据需要将保存的日志文件进行跨网传输以导入云平台的Hadoop分布式文件系统功能。采用本发明，在满足实时性要求的同时，可以避免垃圾数据的传送，克服了现有技术不能及时断点续传、数据丢失的问题。

公开(公告)号：CN103310011A

公开(公告)日：2013-09-18

申请号：CN201310274920.8

申请日：2013-07-02

Applicant: 曙光信息产业(北京)有限公司

Inventor： 李晋钢 ,  宋怀明 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明公开了一种集群数据库系统环境下的数据查询解析方法，包括：接收到来自客户端的为第一结构化查询语言SQL语句的查询请求后，对所述第一SQL语句进行语法解析，使得语法解析后的第一SQL语句为以SelectStmt结构体表示的语法树；对所述语法树进行分析并构建相应的查询任务树；根据预确定的优化规则对所述查询任务树进行优化并生成查询任务流；其中：所述查询任务树包括由多层级构成的多个查询任务节点，同一层级包括一个或多个查询任务节点，其中，一个查询任务节点对应一个查询任务，以及，同一层级的多个查询任务节点生成为相互间并行执行的查询任务。采用本发明，可充分利用无共享结构集群数据库系统的并行运行算能力。

公开(公告)号：CN103235835A

公开(公告)日：2013-08-07

申请号：CN201310192620.5

申请日：2013-05-22

Applicant: 曙光信息产业(北京)有限公司

Inventor： 宋怀明 ,  王勇 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明公开了一种用于数据库集群的查询实现方法和装置，其中，查询实现方法包括以下步骤：在接收到查询请求后，生成与所述查询请求对应的唯一性查询标识，并对所述查询请求进行分析，确定查询子任务；对于每个查询子任务，将该查询子任务以及所述查询标识发送给能够执行该查询子任务的数据库节点；以及接收数据库节点返回的查询结果；此外，在接收到所述查询请求后，生成与所述查询请求对应的参数标识，并将所述参数标识发送至数据库节点；并且，接收到所述参数标识的每个数据库节点，根据接收到的所述参数标识与预先设置的参数窗口调度并执行查询子任务，得到查询结果。本发明可减少多台数据库服务器之间的相互等待，减小查询处理的响应时间。

公开(公告)号：CN103020322A

公开(公告)日：2013-04-03

申请号：CN201310012260.6

申请日：2013-01-11

Applicant: 曙光信息产业(北京)有限公司

Inventor： 狄静舒 ,  宋怀明 ,  王颖 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明提供了一种查询方法，包括：从用户接收查询请求；根据查询请求，在第一数据源中进行第一查询，获取第一查询结果和与第一查询结果相对应的关联信息参数；根据关联参数信息，在第二数据源中进行第二查询并获得第二查询结果；以及将第一查询结果与第二查询结果汇总成最终查询结果反馈给用户。根据通过第一次查询所获得的关联信息参数进行第二次查询，即，根据关联信息直接在第二数据源中获取查询结果，不仅大幅减少了检索结果，提高了检索的精确性而且大幅减少了检索时间，提高了检索速度和效率。而对于检索用户来说，由于最终检索结果少，精确度高，因此减少了浏览检索结果所需要的时间。