-
公开(公告)号：CN105389402A
公开(公告)日：2016-03-09
申请号：CN201511008901.6
申请日：2015-12-29
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30566 , G06F17/30303 , G06F17/30575
Abstract: 本发明提供了一种面向大数据的ETL方法和装置，该方法包括：获取参数配置文件；根据参数配置文件对待同步数据进行参数配置；通过ETL方法对参数配置后的数据进行同步。可以实现多种数据源间数据的导入导出功能，以及通过可视化界面的简单配置，实现基于hdfs数据的多种数据转换操作。
-
公开(公告)号：CN104504154A
公开(公告)日：2015-04-08
申请号：CN201510018619.X
申请日：2015-01-14
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30489
Abstract: 本发明提供了一种数据聚合查询的方法及装置，方法包括：第一级节点对各自存储的数据执行聚合查询，所述节点为无共享架构下的节点；将第一级节点执行聚合查询后得到的数据汇总至第二级节点；第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。装置包括：第一执行模块，用于在第一级节点对各自存储的数据执行聚合查询，所述节点为无共享架构下的节点；汇总模块，用于将第一级节点执行聚合查询后得到的数据汇总至第二级节点；第二执行模块，用于在第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。采用本发明的技术方案，能够有效降低了数据聚合查询的网络通信开销，提高了数据聚合查询的效率。
-
公开(公告)号：CN104486107A
公开(公告)日：2015-04-01
申请号：CN201410742374.0
申请日：2014-12-05
Applicant: 曙光信息产业(北京)有限公司
IPC: H04L12/24
Abstract: 本发明提供了一种日志采集装置及方法，其中，日志采集装置包括：日志监控模块，用于监控当前服务器上的多个应用系统的日志文件；确定各日志文件新增的记录，并保存各日志文件以及新增的记录；数据传输服务模块，用于将新增的记录进行跨网传输以导入云平台的Hadoop分布式文件系统功能，和/或，根据需要将保存的日志文件进行跨网传输以导入云平台的Hadoop分布式文件系统功能。采用本发明，在满足实时性要求的同时，可以避免垃圾数据的传送，克服了现有技术不能及时断点续传、数据丢失的问题。
-
公开(公告)号：CN104408159B
公开(公告)日：2018-01-16
申请号：CN201410734165.1
申请日：2014-12-04
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种数据关联、加载、查询方法及装置，方法包括如下步骤确定需要关联的两个数据对象，将两个数据对象中数据量较小的数据对象以(key，value)方式放入内存的类Hashtable结构中，对另一数据对象中的每条记录生成对应的key值，通过对key值进行哈希Hash确定每条记录是否与内存中的key值关联；当存在关联时，将所有存在关联的记录作为新数据对象输出；将关联后的新数据对象加载到Hadoop平台的指定组件上；当接收到查询请求时，根据查询字段在关联后的新数据对象中进行查找并返回查询结果；本发明所提供的技术方案，优化了数据对象关联机制，进而提高了系统的关联查询效率。
-
公开(公告)号：CN105677710A
公开(公告)日：2016-06-15
申请号：CN201511001368.0
申请日：2015-12-28
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F16/214 , G06F16/258
Abstract: 本发明公开了一种大数据的处理方法和系统，该方法包括：从多个数据源抽取大数据，并对大数据进行规则转换；对进行规则转换后的大数据进行数据处理；根据数据处理后的大数据建立数据库。本发明通过从多源异构数据中分析出各类信息并构建数据库，从而为各类数据分析、行为分析、用户画像分析、关系发现提供数据支撑。
-
Patent Agency Ranking
公开(公告)号：CN105574082A
公开(公告)日：2016-05-11
申请号：CN201510896623.6
申请日：2015-12-08
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F16/24568 , G06F2216/03
Abstract: 本发明提供了一种基于Storm的流处理方法及系统，属于数据处理技术领域。方法包括：提取数据；获取配置文件，解析配置文件中的拓扑参数，拓扑参数用于构建拓扑作业；根据拓扑参数、数据构建拓扑作业；将拓扑作业进行Storm流处理。系统包括：数据接入通用模块，用于提取数据；配置文件解析模块，用于获取配置文件，解析配置文件中的拓扑参数；Storm流处理模块，用于根据拓扑参数、数据库构建拓扑作业，将拓扑作业提交至Storm集群进行流处理。本发明提供的基于Storm的流处理系统，可自动获取用户存储的数据及用户提供的配置文件，生成拓扑作业提交至Storm集群进行流处理，实现整个流处理框架中的通用组件及作业配置组装，简化、加速流处理作业开发过程。
-
公开(公告)号：CN105468741A
公开(公告)日：2016-04-06
申请号：CN201510828070.0
申请日：2015-11-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F16/254 , G06F16/2462
Abstract: 本申请实施例提出了一种警务大数据处理系统，用以提升警务系统工作的效率。该系统包括：数据准备模块，用于对从数据源获得的警务相关数据进行处理，使其符合数据存储模块的存储要求；数据存储模块，用于存储所述数据准备模块处理后的警务相关数据；数据计算模块，采用SPARK计算系统，用于对所述数据存储模块存储的警务相关数据进行各种场景计算；数据应用模块，用于人机应用接口。在本发明实施例中，其核心是通过Spark做为高效的内存分布式计算技术极大的提高了大数据的处理速度，一栈式的解决方案减少了多系统之间数据转换的成本，和多系统的学习以及维护成本，也由于无缝的融合提高了效率。
-
公开(公告)号：CN105376345A
公开(公告)日：2016-03-02
申请号：CN201510849738.X
申请日：2015-11-27
Applicant: 曙光信息产业(北京)有限公司
CPC classification number: H04L61/103 , H04L63/1441 , H04L67/10
Abstract: 本申请提供了一种云平台安全处理方法、控制器和云计算系统，用以保障主机的安全，该方法包括：控制器接收地址解析协议请求；根据所述请求携带的信息判断所述请求是虚拟集群的请求或物理集群的请求；根据判断结果采用虚拟集群或物理集群的控制策略。通过控制器的操作，实现了虚拟平台和物理集群的剥离，使得整个云平台的系统运行不会影响到物理集群的运行，不会因为虚拟平台的攻击请求使得真实的物理机或者控制器受到攻击。
-
公开(公告)号：CN115408115A
公开(公告)日：2022-11-29
申请号：CN202211079528.3
申请日：2022-09-05
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F9/46 , G06F16/901
Abstract: 本发明实施例公开了一种事务启动时间的处理方法、装置、设备及存储介质。该方法包括：响应于最早未完成事务的启动时间获取指令，访问时间项管理链表；其中，所述时间项管理链表中包括：周期性生成的、用于记录未完成事务的启动时间分布情况的时间项；所述时间项包括：对应周期的起始时刻，以及在对应周期内所有业务启动的事务数量；将所述时间项管理链表的第一个时间项中对应周期的起始时刻，作为最早未完成事务的启动时间。本发明实施例的技术方案，通过维护独立的时间项，对多类不同业务的事务的启动时间进行分类，快速获取最早未完成事务的启动时间。
-
公开(公告)号：CN104462349B
公开(公告)日：2019-02-19
申请号：CN201410738371.X
申请日：2014-12-05
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F16/13
Abstract: 本发明提供了一种文件处理方法及装置，方法包括：获取多个日志文件的配置信息，配置信息包括日志文件的存储位置和存储级别，存储级别为根据日志文件的生成时间确定；根据存储级别将多个日志文件映射成文件组；当需要对日志文件进行分析时，根据设定的查找时间在不同存储级别的文件组中定位待分析的日志文件，并根据日志文件的存储位置获取待分析的日志文件。采用本发明所提供的技术方案，可以提高日志查找分析的速度，解决传统日志分析技术不能适应大数据日志文件处理的技术问题。
-
-
-
-
-
-
-
-
-
Search Results
27
records
(took 0.026 seconds)
