-
公开(公告)号：CN109902065A
公开(公告)日：2019-06-18
申请号：CN201910120843.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/14 , G06F16/182
Abstract: 本发明公开了一种访问分布式集群外部数据方法及装置，所述方法包括：将文件服务进程设置在数据库集群系统以外的主机上，并设置文件服务进程的参数，启动所述文件服务进程；在数据库集群系统的数据节点需要访问外部数据时，启动ExternalTableScan算子，连接所述文件服务进程，基于预先创建的外部表进行外部数据访问。
-
公开(公告)号：CN109885453A
公开(公告)日：2019-06-14
申请号：CN201910119278.3
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种基于流数据处理的大数据平台监控系统，所述系统包括：数据收集层，用于进行大数据平台各服务日志数据的抓取上报、服务及主机指标数据的抓取上报、服务及主机可用性数据抓取和配置信息收集；接入计算层，用于对所述数据收集层收集的日志和指标数据进行计算、汇聚和持久化；存储检索层，用于对接入计算层进行计算、汇聚和持久化后的数据进行存储和检索查询；数据展示层，用于进行日志类型的数据展示、历史类型的数据展示和实时类型的数据展示。
-
公开(公告)号：CN109815295A
公开(公告)日：2019-05-28
申请号：CN201910119281.5
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种分布式集群数据导入方法及装置，所述方法包括：数据节点接收Master节点下发的数据加载命令，启动ForeignTableScan算子加载文件加载进程，通过ForeignTableScan算子基于预先设置的外部表，把要请求的数据及外部文件相关信息发送给文件加载进程，其中，文件加载进程设置第三方ETL服务器中；文件加载进程根据数据节点发来的信息顺序读取数据文件，并将数据发送给数据节点；数据节点的ForeignTableScan算子收取数据后，将数据存储到本地。
-
公开(公告)号：CN109815219A
公开(公告)日：2019-05-28
申请号：CN201910119266.0
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种支持多数据库引擎的数据生命周期管理的实现方法，所述方法包括：通过Hive MetaStore服务，创建具有生命周期的依赖Hive元数据的Hive表、HBase表和ElasticSearch表；HBase、ElasticSearch集群对SSD盘和HDD盘进行存储；定期调用生命周期管理服务，读取Hive MetaStore服务中表元数据的生命周期信息和分区信息，计算是否存在过期的分区数据，如果存在，根据表元数据信息判断表的类型，依据不同表数据存储类型，调用相应的数据生命周期管理服务，根据表元数据中规则，自动对过期的数据进行删除或迁移。
-
公开(公告)号：CN104965762B
公开(公告)日：2018-11-27
申请号：CN201510432283.1
申请日：2015-07-21
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种面向混合任务的调度系统，包括模型解析器、执行序列生成器、信息收集器和代理模块；模型解析器与执行序列生成器单向连接，执行序列生成器与信息收集器和代理模块之间均双向连接。本发明提供的面向混合任务的调度系统，任务调度时考虑了任务执行的周期性时序特征，即对于需要长时间不间断运行的任务可实现“一次调度、多次运行”，避免了对一类任务的频繁调度、下发，降低了任务调度带来的额外计算成本，极大降低了任务的频繁下发给网络通信带来的压力；并将如何为同一组周期性任务分配最少的资源来执行看作一个背包问题，提出了相应的算法，以求得最小的虚拟资源集合来完成任务的执行。
-
Patent Agency Ranking
公开(公告)号：CN105119787B
公开(公告)日：2018-10-23
申请号：CN201510432281.2
申请日：2015-07-21
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种基于软件定义的公共互联网接入系统和方法，接入系统包括客户端、接入代理模块、网络适配器、用户中心和调度中心；用户通过客户端与用户中心和调度中心连接，同时还通过客户端与接入代理模块连接，接入代理模块通过网络适配器与公共互联网接入资源连接。本发明实现了将互联网变成按需分配的公共基础设施的目标，满足全国任何用户终端、业务系统、云计算平台对的公共互联网接入资源的访问需求；实现了全网数据转发的集中控制和基于软件定义的数据转发，可实现数据包按照预先编排的转发策略转发到全国任意互联网入口；实现了业务系统与物理位置的分离，可以有效解决复杂业务系统分布式跨地域部署建设成本高、维护成本高的问题。
-
公开(公告)号：CN108572865A
公开(公告)日：2018-09-25
申请号：CN201810296570.8
申请日：2018-04-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津市国瑞数码安全系统股份有限公司
IPC: G06F9/48
Abstract: 本发明公开了一种任务队列处理方法和装置。该方法包括：设置缓存决策树，为所述缓存决策树中的每个节点对应设置标签，并为节点中的叶子节点对应设置原子队列；根据任务的标签信息，在所述缓存决策树中逐级查询到叶子节点，在所述叶子节点对应的原子队列执行任务存取。本发明是一种支持高并发任务的队列设计方法，根据任务的标签，将任务通过决策树逐级分片缓存，使得任务的入队和出队分布在不同队列，使得高并发控制被逐级分担，有效地提高了并发的强度。
-
公开(公告)号：CN108536808A
公开(公告)日：2018-09-14
申请号：CN201810296682.3
申请日：2018-04-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于Spark计算框架的数据获取方法和装置。该方法包括：在接收到表对象访问请求之后，获取Spark的计算资源信息以及MPP集群中待访问的数据表的数据分布信息；根据计算资源信息和数据分布信息，生成多个Partition；其中，每个Partition对应数据表中的部分数据；通过生成的多个Partition，从MPP集群中获取数据表。本发明充分利用MPP集群的数据存储特性，通过多个Partition，直接从MPP的存储节点快速获取数据集。进一步地，在计算资源充足的情况下，可以对存储节点的数据表进行进一步的拆分，以达到提高并行度，提升数据导入性能的目的。可以根据MPP集群的数据分布情况，优先从本地存储中获取数据，减少数据传输开销、节约网络带宽、减少网络延迟、提高计算性能。
-
公开(公告)号：CN108519987A
公开(公告)日：2018-09-11
申请号：CN201810158889.4
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种数据持久化方法和装置。该方法包括：从Kafka中的预设Topic内，获取预先被转换为统一数据类型的数据；选择目标存储引擎；通过Flume将所述Topic内的数据加载到所述目标存储引擎，以便对所述数据执行持久化操作；其中，在所述目标存储引擎执行持久化操作之前，将所述数据从统一数据类型转换为所述数据原来的数据类型。本发明提供一种基于Kafka和Flume的支持多存储引擎的数据持久化方法，在本发明中，使用同一数据类型，通过一次数据序列化(转换为统一数据类型)实现了多存储引擎的统一加载，通过一次反序列化(转换为原数据类型)，实现多存储引擎的高效数据持久化。
-
公开(公告)号：CN104050038B
公开(公告)日：2018-04-10
申请号：CN201410301165.2
申请日：2014-06-27
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种基于策略感知的虚拟机迁移方法，该方法包括以下步骤：I、确定安全策略的中间件；II、确定前端服务器和后端服务器的资源需求和配置需求；III、构建flow安全图；IV、生成可达矩阵；V、增加策略映射函数，实现虚拟机迁移IP地址变更后的安全策略转换；VI、虚拟机迁移。该方法通过在虚拟机迁移过程中加入安全策略迁移感知机制，避免虚拟机迁移导致的策略违反和安全漏洞。
-
-
-
-
-
-
-
-
-
Search Results
85
records
(took 0.099 seconds)
