-
公开(公告)号:CN109902101B
公开(公告)日:2021-04-02
申请号:CN201910122512.8
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/2453 , G06F16/242
Abstract: 本发明公开了一种基于SparkSQL的透明分区方法及装置,所述方法包括:在建表语句提交后,获取用户在创建分区表时指定分区字段和采用的分区策略,通过SQL解析器确定透明分区并将透明分区信息进行保存;当用户通过SQL查询数据时,通过SQL解析生成逻辑执行计划;根据逻辑执行计划中的查询条件,并结合保存的透明分区信息计算出本次查询的数据分区,然后通过改写逻辑执行计划并生成优化后的物理执行计划;根据生成的物理执行计划的执行步骤划分出具体的任务,通过所述任务从所述数据分区中读取数据。
-
公开(公告)号:CN108616498A
公开(公告)日:2018-10-02
申请号:CN201810158886.0
申请日:2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种web访问异常检测方法和装置。该方法包括:根据多个访问日志,训练异常检测模型;其中,在所述多个访问日志中包括正常访问日志和异常访问日志;接收用户设备发送的超文本传输协议http请求;通过所述异常检测模型识别所述http请求是否为异常请求;如果所述http请求为异常请求,则拦截所述http请求。本发明实施例可以应用于web安全和机器学习领域,通过对大量正常样本和异常样本进行机器学习,可以用于web安全领域的访问异常检测和拦截,可以解决传统waf防火墙对入侵访问进行拦截的方法维护成本高、灵活性差、对未知异常没有防护能力的技术问题。
-
公开(公告)号:CN108536728A
公开(公告)日:2018-09-14
申请号:CN201810158917.2
申请日:2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种数据查询方法和装置。该方法包括:获取查询计划;确定所述查询计划中包含的数据源信息;根据所述数据源信息,对所述查询计划执行转义操作;根据转义后的所述查询计划,从所述数据源信息对应的数据源中查询数据并展示查询结果。本发明通过将查询计划进行转义操作,将查询计划转义为需要查询的数据库能够识别的语言,通过这种操作,可以使用一条查询计划同时查询不同数据库,实现跨平台联合查询,提升了数据查询效率,打通了不同数据库之间的技术壁垒,降低了开发人员的学习门槛。
-
公开(公告)号:CN114760216B
公开(公告)日:2023-12-05
申请号:CN202210377822.6
申请日:2022-04-12
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本申请的实施例公开了一种扫描探测事件确定方法、装置及电子设备,涉及网络安全技术领域,为提高扫描探测事件的检测效率而发明。所述方法,包括:获取待分析流量中的报文;提取所述待分析流量中的报文中各条报文的源IP地址;根据所述各条报文中的源IP地址,对从所述待分析流量中获取的各条报文进行分类;同一类别下的各条报文对应的源IP地址相同;基于预设的扫描探测检测规则,对第一类别下的各条报文进行检测,确定是否发生扫描探测事件。本申请适用于扫描探测事件的检测。(56)对比文件Digital Ecosystems and BusinessIntelligence Institute, CurtinUniversity, Perth, Australia;School ofSoftware, Faculty of Engineering andInformation Technology, University ofTechnology, Sydney, Australia;The People's University of Bangladesh, Dhaka,Bangladesh.A Methodology to Counter DoSAttacks in Mobile IP Communication.MobileInformation Systems.2015,全文.Qiao-Hong, He;Qun, Fang;Wen-Bin, Du;Yan-Zhen, Huang;Zhao-Lun, Fang.Anautomated electrokinetic continuoussample introduction system formicrofluidic chip-based capillaryelectrophoresis..The Analyst.2005,第130卷全文.
-
公开(公告)号:CN109885316B
公开(公告)日:2023-05-09
申请号:CN201910119277.9
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F8/61
Abstract: 本发明公开了一种基于kubernetes的hdfs‑HBase部署方法,所述方法包括:计算层通过kubernetes模块获取服务器信息,打包基础镜像,并在所述镜像仓库中保存Hbase基础配置;在用户创建Hbase应用时,计算层通过管理页面获取用户输入的需求信息,修改Hbase基础配置,遴选服务器并打标签,并根据本次Hbase部署的需求信息,生成yaml文件,并调用所述kubernetes模块;所述kubernetes模块按照所述yaml文件要求部署并启动Hbase集群,并将所述Hbase集群添加到巡检队列中;所述巡检系统对所述巡检队列进行轮询。
-
公开(公告)号:CN109902126B
公开(公告)日:2021-12-07
申请号:CN201910119268.X
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/27 , G06F16/2455
Abstract: 本发明公开了一种支持HIVE自动分区的加载系统及其实现方法,所述方法包括:数据源模块,用于接收数据,对数据进行预备分类,按照数据的来源和数据头上所携带的配置信息进行预处理,得到数据所需要写入的对应的HIVE表,将映射关系放入到数据头中,并将数据放入到数据通道;数据通道,用于作为所述数据源模块和所述输出接口模块之间的数据通道;输出接口模块,用于从数据通道中获取数据,对数据反序列化,进行进一步的校验,依据加载系统在HIVE中所获取的分区设置计算出分区,将与数据所对应的数据库名和表名一起作为数据写入hdfs中的key值,依据该key值,从文件写入管理模块中获取对应的文件句柄,将数据写入至hdfs或者其他存储介质中。
-
公开(公告)号:CN113079034A
公开(公告)日:2021-07-06
申请号:CN202110261760.8
申请日:2021-03-10
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种互联网基础资源及其关系模型、及模型的构建、应用方法。互联网基础资源及其关系模型构建方法,包括:将相同类型的互联网基础资源以集合的形式表示,以获得多个集合;获取每个互联网基础资源的属性以及各个互联网基础资源之间的关系;基于多个集合、每个互联网基础资源的属性以及各个互联网基础资源之间的关系,构建互联网基础资源及其关系模型。本发明为互联网基础资源提供一种描述方法,包括资源、资源之间的关系以及资源属性的定义,并在此基础上提供多个互联网资源之间的操作,用以支持对互联网上常用行为进行研究的支撑。
-
公开(公告)号:CN109902101A
公开(公告)日:2019-06-18
申请号:CN201910122512.8
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/2453 , G06F16/242
Abstract: 本发明公开了一种基于SparkSQL的透明分区方法及装置,所述方法包括:在建表语句提交后,获取用户在创建分区表时指定分区字段和采用的分区策略,通过SQL解析器确定透明分区并将透明分区信息进行保存;当用户通过SQL查询数据时,通过SQL解析生成逻辑执行计划;根据逻辑执行计划中的查询条件,并结合保存的透明分区信息计算出本次查询的数据分区,然后通过改写逻辑执行计划并生成优化后的物理执行计划;根据生成的物理执行计划的执行步骤划分出具体的任务,通过所述任务从所述数据分区中读取数据。
-
公开(公告)号:CN109857535A
公开(公告)日:2019-06-07
申请号:CN201910122390.2
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48 , G06F9/50 , G06F16/242 , G06F16/25
Abstract: 本发明公开了一种面向Spark JDBC的任务优先级控制的实现方法及装置,所述方法包括:SparkJdbc服务在启动时根据预先编写好的优先级队列描述XML文件建立多个任务优先级队列;接收用户通过Jdbc接口下发的指定优先级队列命令,完成Jdbc会话级别的优先级设置;接收用户提交的检索SQL,将SQL语句经过多个分析规划过程后生成一个Spark Task集合并被添加到相应名称的目标优先级队列中;通过资源调度器根据各个优先级队列之间的资源分配策略和队列内部的资源分配策略进行硬件资源的调度分配,将Spark Task分发到各个计算节点上的Task执行器上进行执行。
-
公开(公告)号:CN117221172A
公开(公告)日:2023-12-12
申请号:CN202311036540.0
申请日:2023-08-16
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L43/0823 , H04L43/08 , H04L43/50
Abstract: 本申请公开了一种周期性流量的在线多步异常检测方法及装置,包括:获取正常流量的历史数据;为获取的正常流量的历史数据,确定历史数据的流量周期;获取当前新增流量数据,利用预设统计方法计算当前新增流量数据的正常值范围,并对比当前新增流量数据与所确定的流量周期,以确定当前新增流量数据是否在正常值范围内,若不在正常值范围内,则确定流量异常;在确定流量异常的情况下,判定异常流量的持续时间。本申请实施例的方法能够提前发现未来时刻流量是否异常、对异常流量提前干预并减小异常流量造成的损失提供数据支撑。
-
-
-
-
-
-
-
-
-