-
公开(公告)号：CN108256115B
公开(公告)日：2022-02-25
申请号：CN201810142899.9
申请日：2018-02-11
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/182 , G06F16/172 , G06F16/14
-
公开(公告)号：CN109918229B
公开(公告)日：2021-03-30
申请号：CN201910119274.5
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种非日志模式的数据库集群副本构建方法及装置，方法包括：加载工具直连第一个副本，进行数据实时入库加载，并以事务为单位构建同步记录；复制流程调度器加载元数据，检查节点状态，构造多个副本的拓扑关系，启动各个节点上的复制执行器，将构建的拓扑信息携带在复制处理消息中通过消息总线发送给复制执行器；复制执行器从消息总线获取复制处理消息，解析拓扑信息，查找到数据源，通过自身副本的全局唯一GID标识以及数据源的同步记录跟踪表，检查增量数据，如果没有，则循环等待，否则执行下步；复制执行器计算增量数据的同步范围信息，读取给定范围的数据，加载至本身节点上的副本，并构造本次数据复制的同步记录，执行步骤3。
-
公开(公告)号：CN109901948A
公开(公告)日：2019-06-18
申请号：CN201910119253.3
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种无共享数据库集群异地双活容灾系统，所述系统包括：任务调度器，位于MPP集群Server服务器端，用于对于主、备集群分别执行不同的调度任务；任务执行器，位于MPP集群的NodeAgent节点代理端，为MPP集群节点代理层的执行线程，用于接收任务调度器分配的调度任务并执行；消息总线模块，用于为所述无共享数据库集群异地双活容灾系统提供消息交互功能；DNS代理服务模块，用于主、备MPP集群对外提供服务的接口，并通过更新实现集群主、备之间的自动切换。
-
公开(公告)号：CN109885429A
公开(公告)日：2019-06-14
申请号：CN201910124263.6
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种大数据灾备方法及装置，所述方法包括：将本数据中心的将待入库数据写入Kafka中间件，将Kafka中间件中的待入库数据备份到另外一个数据中心，接收所述另外一个数据中心发送的灾备数据，并将所述灾备数据写入所述Kafka中间件；在备份完成后，通过Flume将Kafka中间件的待入库数据进行入库。
-
公开(公告)号：CN109885316A
公开(公告)日：2019-06-14
申请号：CN201910119277.9
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F8/61
Abstract: 本发明公开了一种基于kubernetes的hdfs-HBase部署方法，所述方法包括：计算层通过kubernetes模块获取服务器信息，打包基础镜像，并在所述镜像仓库中保存Hbase基础配置；在用户创建Hbase应用时，计算层通过管理页面获取用户输入的需求信息，修改Hbase基础配置，遴选服务器并打标签，并根据本次Hbase部署的需求信息，生成yaml文件，并调用所述kubernetes模块；所述kubernetes模块按照所述yaml文件要求部署并启动Hbase集群，并将所述Hbase集群添加到巡检队列中；所述巡检系统对所述巡检队列进行轮询。
-
Patent Agency Ranking
公开(公告)号：CN108536727A
公开(公告)日：2018-09-14
申请号：CN201810158888.X
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种数据检索方法和装置。根据请求数据检索的结构化查询语言SQL语句生成执行计划；判断所述执行计划是否满足流式结果返回条件；如果满足流式结果返回条件，则在执行所述执行计划的过程中，逐个获取检索结果并逐个提供给用户，直至所有检索结果获取完毕并提供给用户为止。本发明在数据检索过程中，逐个获取检索结果，并且一边获取检索结果一边提供给用户使用，有效降低了使用SparkSQL进行数据检索时的结果返回响应时间和检索总消耗时间，提升了SparkSQL框架进行数据检索时的效率和可用性，并且通过流式返回方式，解决了SparkSQL在进行大结果集检索时可能出现的内存问题，使SparkSQL框架进行大结果集检索成为可能。
-
公开(公告)号：CN113079034B
公开(公告)日：2022-12-20
申请号：CN202110261760.8
申请日：2021-03-10
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L41/14 , H04L61/4511 , H04L9/40
Abstract: 本发明公开了一种互联网基础资源及其关系模型、及模型的构建、应用方法。互联网基础资源及其关系模型构建方法，包括：将相同类型的互联网基础资源以集合的形式表示，以获得多个集合；获取每个互联网基础资源的属性以及各个互联网基础资源之间的关系；基于多个集合、每个互联网基础资源的属性以及各个互联网基础资源之间的关系，构建互联网基础资源及其关系模型。本发明为互联网基础资源提供一种描述方法，包括资源、资源之间的关系以及资源属性的定义，并在此基础上提供多个互联网资源之间的操作，用以支持对互联网上常用行为进行研究的支撑。
-
公开(公告)号：CN108536808B
公开(公告)日：2022-04-29
申请号：CN201810296682.3
申请日：2018-04-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明公开了一种基于Spark计算框架的数据获取方法和装置。该方法包括：在接收到表对象访问请求之后，获取Spark的计算资源信息以及MPP集群中待访问的数据表的数据分布信息；根据计算资源信息和数据分布信息，生成多个Partition；其中，每个Partition对应数据表中的部分数据；通过生成的多个Partition，从MPP集群中获取数据表。本发明充分利用MPP集群的数据存储特性，通过多个Partition，直接从MPP的存储节点快速获取数据集。进一步地，在计算资源充足的情况下，可以对存储节点的数据表进行进一步的拆分，以达到提高并行度，提升数据导入性能的目的。可以根据MPP集群的数据分布情况，优先从本地存储中获取数据，减少数据传输开销、节约网络带宽、减少网络延迟、提高计算性能。
-
公开(公告)号：CN109885642B
公开(公告)日：2021-11-02
申请号：CN201910119254.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种面向全文检索的分级存储方法及装置，所述方法包括：获取SQL语句，创建全文检索表，并将所述全文检索表持久化到Zookeeper中；配置ElasticSearch集群中一部分节点使用SSD盘，另一部分节点使用SATA盘，并在每个节点上安装自定义的ElasticSearch插件；数据加载工具通过ElasticSearch集群的调用接口API将文档数据加载到ElasticSearch集群中，通过所述ElasticSearch插件对请求进行过滤，并使用预先存储的全文检索表中的元数据进行索引创建；通过所述ElasticSearch插件运行监听策略，监听Zookeeper中表的元数据信息的变化，并应用分级存储策略，执行定时回滚策略，将回滚任务下发给ElasticSearch集群。
-
公开(公告)号：CN109918229A
公开(公告)日：2019-06-21
申请号：CN201910119274.5
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F11/14
Abstract: 本发明公开了一种非日志模式的数据库集群副本构建方法及装置，方法包括：加载工具直连第一个副本，进行数据实时入库加载，并以事务为单位构建同步记录；复制流程调度器加载元数据，检查节点状态，构造多个副本的拓扑关系，启动各个节点上的复制执行器，将构建的拓扑信息携带在复制处理消息中通过消息总线发送给复制执行器；复制执行器从消息总线获取复制处理消息，解析拓扑信息，查找到数据源，通过自身副本的全局唯一GID标识以及数据源的同步记录跟踪表，检查增量数据，如果没有，则循环等待，否则执行下步；复制执行器计算增量数据的同步范围信息，读取给定范围的数据，加载至本身节点上的副本，并构造本次数据复制的同步记录，执行步骤3。
-
-
-
-
-
-
-
-
-
Search Results
38
records
(took 0.041 seconds)
