-
公开(公告)号：CN105376345B
公开(公告)日：2019-01-25
申请号：CN201510849738.X
申请日：2015-11-27
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本申请提供了一种云平台安全处理方法、控制器和云计算系统，用以保障主机的安全，该方法包括：控制器接收地址解析协议请求；根据所述请求携带的信息判断所述请求是虚拟集群的请求或物理集群的请求；根据判断结果采用虚拟集群或物理集群的控制策略。通过控制器的操作，实现了虚拟平台和物理集群的剥离，使得整个云平台的系统运行不会影响到物理集群的运行，不会因为虚拟平台的攻击请求使得真实的物理机或者控制器受到攻击。
-
公开(公告)号：CN104504154B
公开(公告)日：2018-01-16
申请号：CN201510018619.X
申请日：2015-01-14
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种数据聚合查询的方法及装置，方法包括：第一级节点对各自存储的数据执行聚合查询，所述节点为无共享架构下的节点；将第一级节点执行聚合查询后得到的数据汇总至第二级节点；第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。装置包括：第一执行模块，用于在第一级节点对各自存储的数据执行聚合查询，所述节点为无共享架构下的节点；汇总模块，用于将第一级节点执行聚合查询后得到的数据汇总至第二级节点；第二执行模块，用于在第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。采用本发明的技术方案，能够有效降低了数据聚合查询的网络通信开销，提高了数据聚合查询的效率。
-
公开(公告)号：CN107066205A
公开(公告)日：2017-08-18
申请号：CN201611257420.3
申请日：2016-12-30
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明提出了一种数据存储系统，该数据存储系统包括：Hadoop集群，和设置在Hadoop集群中的组件、NFS服务器模块，其中，组件包括Map‑Reduce框架，并且Map‑Reduce框架用于执行Map‑Reduce流程，以及Map‑Reduce流程包括Map任务和Reduce任务，设置在NFS服务器模块中的磁盘阵列模块，并且通过磁盘阵列模块和NFS服务器模块构成共享存储设备，从而为Hadoop集群提供了存储，以及将各个Map任务的结果存储至共享存储设备，以去掉shuffle过程，从而优化了Map任务和Reduce任务的流程；以及组件将Hadoop集群中使用的文件切分为多个块，并且将每个块均发到不同的计算机节点，从而实现了负载均衡。本发明通过该数据存储系统，从而使得系统在性价比、可靠性、可维护、性能等方面均得到了较大改善。
-
公开(公告)号：CN106844539A
公开(公告)日：2017-06-13
申请号：CN201611255750.9
申请日：2016-12-30
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30321 , G06F17/30477 , G06F17/30545
Abstract: 本发明公开了一种实时数据分析方法和实时数据分析系统，该实时数据分析方法包括：根据需求构造检索算子、读取算子、和聚合分析算法；根据检索算子和读取算子对索引表和数据表进行检索以获取分析字段数据；以及根据聚合分析算法对分析字段数据进行聚合分析；其中，索引表和数据表均采用key‑value形式的列式存储，索引表配置为分析数据的各个字段与对应的字段数据的索引表。能够提升索引的灵活性和数据聚合分析性能。
-
公开(公告)号：CN105930370A
公开(公告)日：2016-09-07
申请号：CN201610227558.2
申请日：2016-04-13
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30572 , G06F17/30716
Abstract: 本发明提出了一种数据的监控方法及装置，该数据的监控方法包括：监控并获取数据的热度信息、分布信息以及流向信息；将热度信息、分布信息、流向信息进行图形展示。本发明通过以图形的方式将获取到的数据的热度信息、分布信息以及流向信息进行展示，从而能够更加直观的展示数据的自身规律，使数据分析变得更加高效、准确。
-
Patent Agency Ranking
公开(公告)号：CN104408159A
公开(公告)日：2015-03-11
申请号：CN201410734165.1
申请日：2014-12-04
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30628 , G06F17/30657 , G06F17/30911 , G06F17/30929
Abstract: 本发明提供了一种数据关联、加载、查询方法及装置，方法包括如下步骤确定需要关联的两个数据对象，将两个数据对象中数据量较小的数据对象以(key，value)方式放入内存的类Hashtable结构中，对另一数据对象中的每条记录生成对应的key值，通过对key值进行哈希Hash确定每条记录是否与内存中的key值关联；当存在关联时，将所有存在关联的记录作为新数据对象输出；将关联后的新数据对象加载到Hadoop平台的指定组件上；当接收到查询请求时，根据查询字段在关联后的新数据对象中进行查找并返回查询结果；本发明所提供的技术方案，优化了数据对象关联机制，进而提高了系统的关联查询效率。
-
公开(公告)号：CN107066205B
公开(公告)日：2020-06-05
申请号：CN201611257420.3
申请日：2016-12-30
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F3/06 , G06F16/182
Abstract: 本发明提出了一种数据存储系统，该数据存储系统包括：Hadoop集群，和设置在Hadoop集群中的组件、NFS服务器模块，其中，组件包括Map‑Reduce框架，并且Map‑Reduce框架用于执行Map‑Reduce流程，以及Map‑Reduce流程包括Map任务和Reduce任务，设置在NFS服务器模块中的磁盘阵列模块，并且通过磁盘阵列模块和NFS服务器模块构成共享存储设备，从而为Hadoop集群提供了存储，以及将各个Map任务的结果存储至共享存储设备，以去掉shuffle过程，从而优化了Map任务和Reduce任务的流程；以及组件将Hadoop集群中使用的文件切分为多个块，并且将每个块均发到不同的计算机节点，从而实现了负载均衡。本发明通过该数据存储系统，从而使得系统在性价比、可靠性、可维护、性能等方面均得到了较大改善。
-
公开(公告)号：CN105843955A
公开(公告)日：2016-08-10
申请号：CN201610227555.9
申请日：2016-04-13
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F16/278
Abstract: 本发明提出了一种数据迁移系统，该系统包括：源数据库；第一输入/输出模块，用于读取源数据库的源数据并发送；内存计算模块，用于接收源数据，以及对源数据进行划分并发送；第二输入/输出模块，用于接收划分后的数据，并发送到对应的集群数据库；至少两个集群数据库，用于接收划分后的数据并存储。本发明通过采用基于块的读取方式将数据从源数据库中读取到内存中，然后按照数据的划分规则完成数据的划分，将划分好的数据通过块写入的方式写入集群数据库的对应目标数据库中。由于采用了基于块I/O和内存计算的方式，避免了耗时的数据读取的和高效的数据划分的同时运行，因此大大的提高了数据迁移的效率。
-
公开(公告)号：CN104462349A
公开(公告)日：2015-03-25
申请号：CN201410738371.X
申请日：2014-12-05
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30091
Abstract: 本发明提供了一种文件处理方法及装置，方法包括：获取多个日志文件的配置信息，配置信息包括日志文件的存储位置和存储级别，存储级别为根据日志文件的生成时间确定；根据存储级别将多个日志文件映射成文件组；当需要对日志文件进行分析时，根据设定的查找时间在不同存储级别的文件组中定位待分析的日志文件，并根据日志文件的存储位置获取待分析的日志文件。采用本发明所提供的技术方案，可以提高日志查找分析的速度，解决传统日志分析技术不能适应大数据日志文件处理的技术问题。
-
公开(公告)号：CN105389402B
公开(公告)日：2019-04-12
申请号：CN201511008901.6
申请日：2015-12-29
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F16/25 , G06F16/27 , G06F16/215
Abstract: 本发明提供了一种面向大数据的ETL方法和装置，该方法包括：获取参数配置文件；根据参数配置文件对待同步数据进行参数配置；通过ETL方法对参数配置后的数据进行同步。可以实现多种数据源间数据的导入导出功能，以及通过可视化界面的简单配置，实现基于hdfs数据的多种数据转换操作。
-
-
-
-
-
-
-
-
-
Search Results
27
records
(took 0.023 seconds)
