-
公开(公告)号:CN109885316B
公开(公告)日:2023-05-09
申请号:CN201910119277.9
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F8/61
Abstract: 本发明公开了一种基于kubernetes的hdfs‑HBase部署方法,所述方法包括:计算层通过kubernetes模块获取服务器信息,打包基础镜像,并在所述镜像仓库中保存Hbase基础配置;在用户创建Hbase应用时,计算层通过管理页面获取用户输入的需求信息,修改Hbase基础配置,遴选服务器并打标签,并根据本次Hbase部署的需求信息,生成yaml文件,并调用所述kubernetes模块;所述kubernetes模块按照所述yaml文件要求部署并启动Hbase集群,并将所述Hbase集群添加到巡检队列中;所述巡检系统对所述巡检队列进行轮询。
-
公开(公告)号:CN109902126B
公开(公告)日:2021-12-07
申请号:CN201910119268.X
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/27 , G06F16/2455
Abstract: 本发明公开了一种支持HIVE自动分区的加载系统及其实现方法,所述方法包括:数据源模块,用于接收数据,对数据进行预备分类,按照数据的来源和数据头上所携带的配置信息进行预处理,得到数据所需要写入的对应的HIVE表,将映射关系放入到数据头中,并将数据放入到数据通道;数据通道,用于作为所述数据源模块和所述输出接口模块之间的数据通道;输出接口模块,用于从数据通道中获取数据,对数据反序列化,进行进一步的校验,依据加载系统在HIVE中所获取的分区设置计算出分区,将与数据所对应的数据库名和表名一起作为数据写入hdfs中的key值,依据该key值,从文件写入管理模块中获取对应的文件句柄,将数据写入至hdfs或者其他存储介质中。
-
公开(公告)号:CN109902101A
公开(公告)日:2019-06-18
申请号:CN201910122512.8
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/2453 , G06F16/242
Abstract: 本发明公开了一种基于SparkSQL的透明分区方法及装置,所述方法包括:在建表语句提交后,获取用户在创建分区表时指定分区字段和采用的分区策略,通过SQL解析器确定透明分区并将透明分区信息进行保存;当用户通过SQL查询数据时,通过SQL解析生成逻辑执行计划;根据逻辑执行计划中的查询条件,并结合保存的透明分区信息计算出本次查询的数据分区,然后通过改写逻辑执行计划并生成优化后的物理执行计划;根据生成的物理执行计划的执行步骤划分出具体的任务,通过所述任务从所述数据分区中读取数据。
-
公开(公告)号:CN109857535A
公开(公告)日:2019-06-07
申请号:CN201910122390.2
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48 , G06F9/50 , G06F16/242 , G06F16/25
Abstract: 本发明公开了一种面向Spark JDBC的任务优先级控制的实现方法及装置,所述方法包括:SparkJdbc服务在启动时根据预先编写好的优先级队列描述XML文件建立多个任务优先级队列;接收用户通过Jdbc接口下发的指定优先级队列命令,完成Jdbc会话级别的优先级设置;接收用户提交的检索SQL,将SQL语句经过多个分析规划过程后生成一个Spark Task集合并被添加到相应名称的目标优先级队列中;通过资源调度器根据各个优先级队列之间的资源分配策略和队列内部的资源分配策略进行硬件资源的调度分配,将Spark Task分发到各个计算节点上的Task执行器上进行执行。
-
公开(公告)号:CN109743230A
公开(公告)日:2019-05-10
申请号:CN201910124284.8
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L12/26
Abstract: 本发明公开了一种基于统计信息的监控数据传输系统,所述系统包括:服务组件,安装于主节点,用于在监控系统运行过程中动态根据用户操作将主机进行分组,并将每个分组中的一个主机确定为中心组件;在完成主机分组后,动态地指定该组内主机需要监控的指标;将主机分组信息和监控指标信息发送到代理组件,启动监控组件,监控主机的运行状态;代理组件,安装于被监控的主机上,用于根据所述分组信息和所述监控指标信息,定期收集主机的相应指标数据,并将所述指标数据发送至中心组件;中心组件,用于定期接收代理组件发送的指标数据,对数据进行平度分布统计,然后定期地将统计数据发送至服务组件。
-
公开(公告)号:CN108540336A
公开(公告)日:2018-09-14
申请号:CN201810159100.7
申请日:2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L12/26 , H04L12/863 , H04L12/911
Abstract: 本发明公开了一种弹性伸缩调度方法和装置。该方法包括:监测当前数据中心的多种目标;判断所述多种目标是否满足预设的目标条件;如果不满足,则根据预设的弹性伸缩策略,先确定调度数据中心,再在所述调度数据中心执行弹性伸缩操作。本发明监测数据中心的多种目标,基于多种目标进行弹性伸缩操作,调度数据中心可以是当前数据中心,也可以是与当前数据中心跨区域的数据中心。因而,执行本发明可以实现多目标、跨区域的弹性伸缩调度。
-
公开(公告)号:CN108512693A
公开(公告)日:2018-09-07
申请号:CN201810159098.3
申请日:2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种跨区域容灾方法和装置。该方法包括:在两个分区中,分别部署云网络;其中,两个所述云网络都具有计算资源层、数据库层和存储层;对所述计算资源层、数据库层和存储层分别进行监测和容灾。本发明通过云网络实现层次化管理的跨区域容灾,部署成本低,切换时间短,不会对业务产生消极影响,并且可以缩短跨区域容灾的时间。进一步地,本发明在计算资源、数据库、存储层上分别实现跨区域容灾,从而实现完整的云容灾方案,解决了重要及核心以上级别业务的同城甚至异地容灾。
-
公开(公告)号:CN103092922B
公开(公告)日:2018-04-10
申请号:CN201210585397.6
申请日:2012-12-28
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明提供一种针对含特殊字符的URL编码后的自动解码方法,包括:步骤S1,输入需要解码的编码后的URL字符串;步骤S2,按照不同的编码方式对编码后的URL字符串进行解码,得到不同的URL字符串;步骤S3,对得到的不同的URL字符串按照其对应的解码方式进行编码,得到不同的编码后的URL字符串;步骤S4,将得到的不同的编码后的URL字符串与输入的需要解码的编码后的URL字符串进行对比,如果得到的不同的编码后的URL字符串中有一个与需要解码的编码后的URL字符串相同,取编码后的URL字符串对应的编码方式下步骤S2中得到的URL字符串为需要解码的编码后的URL字符串自动解码得到的URL字符串,精确得到需要解码的编码后的URL字符串的编码方式进行解码。
-
公开(公告)号:CN104050015B
公开(公告)日:2018-01-19
申请号:CN201410301202.X
申请日:2014-06-27
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种虚拟机镜像存储分发系统,该系统包括集群管理服务器及运行在分布式云计算平台的测试机上的本地对象存储服务器、DHT‑MAP映射服务器和QEMU块驱动。该系统能够实现分布式跨地域的虚拟机批量、快速部署,解决传统系统和方法部署虚拟机周期长、无法动态扩展、可用性低的不足。
-
公开(公告)号:CN104050070B
公开(公告)日:2017-02-22
申请号:CN201410243426.X
申请日:2014-03-28
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/30
Abstract: 本发明提供了一种分布式系统中高维流量数据变化点检测方法,该方法包括以下步骤:获取所述分布式系统中标准化的高维原始流量数据;高维原始流量数据降维;主成分表征的有序样本数据聚类,确定主成分数据的非平凡点;判定原始各维流量数据在对应的非平凡点处是否发生显著变化。该方法用于检测分布式系统中高维流量数据的变化点,进一步用于帮助管理人员更好的对分布式系统中的流量数据进行监测、分析。
-
-
-
-
-
-
-
-
-