-
公开(公告)号：CN105589951B
公开(公告)日：2019-03-26
申请号：CN201510958688.9
申请日：2015-12-18
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种海量遥感影像元数据分布式存储方法及并行查询方法。涉及基于HDFS存储、Spark分布式并行计算、Redis内存缓存的海量遥感影像元数据并行空间索引构建和查询。该方法在KD‑Tree算法基础上发明了DKD‑Tree算法。在Spark框架下利用DKD‑Tree算法构建分区，将构建的分区数据保存在HDFS中，利用Spark先在构建的DKD‑Tree中进行分区查询，再在查询到的分区中进行具体的查询，基于DKD‑Tree的查询大大缩减查询范围，提高查询效率。本发明可以在大数据环境下对遥感影像元数据做到实时查询，在数据量增加时，可以增加Spark节点保证查询的实时性，具有很好的可扩展性。
-
公开(公告)号：CN109117267A
公开(公告)日：2019-01-01
申请号：CN201810771386.4
申请日：2018-07-13
Applicant: 中国科学院计算机网络信息中心
IPC: G06F9/50
Abstract: 本发明公开一种科学数据端云分析服务方法。本方法为：科学数据端云分析系统中建立一组主机节点池，并初始化一组管理组件和一组容器资源池；主机节点池包括一个管理节点和若干资源节点，容器资源池包括若干以分析算法库为区分的容器实例池；容器实例池由分布在不同资源节点上的容器实例池片组成，容器实例池片由多个以相同分析算法库镜像产生的容器实例组成，各容器实例内部均有一个科学数据端服务；管理组件包括缓存器、接入器、管理器和维护器；当在用资源达到阈值，管理节点通过接口启动资源节点的注册，创建容器实例池片，容器实例资源入池；接入器根据收到的用户服务请求，选择对应容器实例。
-
公开(公告)号：CN107315767A
公开(公告)日：2017-11-03
申请号：CN201710348651.3
申请日：2017-05-17
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开了一种通量数据的汇聚重建方法。本方法为：1)在每个远端通量数据观测站点对实时通量数据进行采集并存储；2)各远端通量数据观测站点对采集的通量数据进行元数据的抽取生成元数据文件，并将其传输到中心站点；3)中心站点检查收到的元数据文件是否已有对应的数据库表结构，如果无，则生成该元数据文件的数据库表结构；如有，则根据该元数据文件中的通量数据文件大小判断是否对该元数据文件描述的通量数据文件进行续传；如果续传，则进行4)，否则，通知该元数据文件对应的远端通量数据观测站点进行文件备份并开启新文件的汇聚过程；4)中心站点接收该元数据文件的远端通量数据观测站点采集的通量数据文件，并进行数据分片存储。
-
公开(公告)号：CN105589951A
公开(公告)日：2016-05-18
申请号：CN201510958688.9
申请日：2015-12-18
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
CPC classification number: G06F17/30241 , G06F17/30194 , G06F17/30545
Abstract: 本发明公开了一种海量遥感影像元数据分布式存储方法及并行查询方法。涉及基于HDFS存储、Spark分布式并行计算、Redis内存缓存的海量遥感影像元数据并行空间索引构建和查询。该方法在KD-Tree算法基础上发明了DKD-Tree算法。在Spark框架下利用DKD-Tree算法构建分区，将构建的分区数据保存在HDFS中，利用Spark先在构建的DKD-Tree中进行分区查询，再在查询到的分区中进行具体的查询，基于DKD-Tree的查询大大缩减查询范围，提高查询效率。本发明可以在大数据环境下对遥感影像元数据做到实时查询，在数据量增加时，可以增加Spark节点保证查询的实时性，具有很好的可扩展性。
-
公开(公告)号：CN103246516A
公开(公告)日：2013-08-14
申请号：CN201310182081.7
申请日：2013-05-16
Applicant: 中国科学院计算机网络信息中心
IPC: G06F9/44
Abstract: 本发明涉及基于互联网的遥感数据分析工具封装服务方法，步骤为：1）在网站服务器集群安装遥感数据分析工具包；2）在服务器后台根据面向对象脚本语言对遥感数据分析工具包中的分析命令程序和分布式文件系统数据进行封装，得到接口函数和接口对象可调用的数据对象；3）本地用户在终端设备上根据接口对象，调用接口函数对数据对象进行脚本分析处理，并上传计算任务到分网站服务器集群上；4）服务器集群接收将接收到的计算任务分配到网站服务器的计算节点上，并通过脚本解析引擎器对该计算任务进行解析执行。本发明能够将单机环境遥感数据分析工具包抽象化封装成基础接口，用户可在网页上编写遥感数据分析处理脚本，同时提交到服务器集群上运行。
-
Patent Agency Ranking
公开(公告)号：CN118069307A
公开(公告)日：2024-05-24
申请号：CN202311468977.1
申请日：2023-11-07
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种面向复杂栅格数据处理任务的集群算力自适应调度方法，其步骤包括：1)将栅格数据分析步骤组件化，封装成独立运行的算子；2)按业务需要挑选算子组成有向无环图；3)在执行工作流时，根据算子依赖关系确定执行顺序，当多个算子执行顺序相同时，根据算子空间复杂度、时间复杂度和要处理的栅格数据像素个数确定算子优先级，优先级高的算子优先执行；4)在算子j执行之前，对所有工作节点的当前可用算力进行量化打分，根据得分比重将算子j对应的栅格数据按照空间范围进行逻辑分割，然后将分割得到的子空间分配给对应的工作节点；5)各工作节点根据收到的子空间的空间范围加载对应的数据块，并执行算子j对栅格数据块进行处理。
-
公开(公告)号：CN109472283B
公开(公告)日：2022-02-01
申请号：CN201811067217.9
申请日：2018-09-13
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明涉及一种基于多重增量回归树模型的危险天气事件预测方法和装置。该方法的步骤包括：1)读取气象观测历史资料，将气象特征数据和危险天气事件记录作为样本数据集；2)根据样本数据集建立训练数据矩阵和验证数据矩阵；3)设置多重增量回归树模型的模型参数；4)输入训练数据矩阵和验证数据矩阵，对多重增量回归树模型进行训练，得到训练完成的多重增量回归树模型；5)向训练完成的多重增量回归树模型输入预测数据矩阵，得到未来危险天气事件的发生概率。本发明能够显著提高对危险天气事件的预报准确率。
-
公开(公告)号：CN109117267B
公开(公告)日：2021-09-14
申请号：CN201810771386.4
申请日：2018-07-13
Applicant: 中国科学院计算机网络信息中心
IPC: G06F9/50
Abstract: 本发明公开一种科学数据端云分析服务方法。本方法为：科学数据端云分析系统中建立一组主机节点池，并初始化一组管理组件和一组容器资源池；主机节点池包括一个管理节点和若干资源节点，容器资源池包括若干以分析算法库为区分的容器实例池；容器实例池由分布在不同资源节点上的容器实例池片组成，容器实例池片由多个以相同分析算法库镜像产生的容器实例组成，各容器实例内部均有一个科学数据端服务；管理组件包括缓存器、接入器、管理器和维护器；当在用资源达到阈值，管理节点通过接口启动资源节点的注册，创建容器实例池片，容器实例资源入池；接入器根据收到的用户服务请求，选择对应容器实例。
-
公开(公告)号：CN112395315A
公开(公告)日：2021-02-23
申请号：CN202011146272.4
申请日：2020-10-23
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/2455 , G06F16/2458
Abstract: 本发明提供一种日志文件的统计与异常探测方法及电子装置，包括：将日志文件转化为事件流；解析不同事件流中的事件，对得到的结构化日志数据，进行前期聚合或后期聚合得到日志统计结果；对连续时间窗口内的结构化日志数据进行聚合，得到以请求量为元素的数组A与包含结构化日志数据时间戳及IP元信息的数组B；通过机器学习方法对数组A进行分析；利用数组A与数组B的关联关系，得到异常发生的时间窗口和IP元信息；对异常发生的时间窗口内的IP请求进行响应聚合，依据聚合后响应分布信息，得到异常发生时间和请求IP。本发明能将异构日志数据处理为同构结构化数据，以便统计分析需要；可依据日志进行业务网站异常流量探测，发现爬虫或恶意攻击。
-
公开(公告)号：CN108388590A
公开(公告)日：2018-08-10
申请号：CN201810088292.7
申请日：2018-01-30
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
CPC classification number: G06F17/3028
Abstract: 本发明涉及一种LANDSAT影像数据的自适应格网剖分组织方法和装置。该方法包括：1)根据LANDSAT遥感影像的分辨率确定全球等经纬度格网大小，并定义格网ID；2)根据一景LANDSAT影像的投影信息和边界范围，选择包含该景LANDSAT影像区域的格网；3)对格网进行投影转换，并进行平移变换和边界缓冲扩展，使得格网边界与LANDSAT影像的像素边界重合；4)读取格网范围内LANDSAT影像的切片数值，其形式为二维数组；5)对读取到的多个二维数组进行组织并构建索引。本发明能够保证LANDSAT影像数据无变形且像素无丢失，可支持快速直接读取LANDSAT影像数据的数值信息。
-
-
-
-
-
-
-
-
-
Search Results
50
records
(took 0.044 seconds)
