-
公开(公告)号:CN103246516B
公开(公告)日:2017-02-08
申请号:CN201310182081.7
申请日:2013-05-16
Applicant: 中国科学院计算机网络信息中心
IPC: G06F9/44
Abstract: 本发明涉及基于互联网的遥感数据分析工具封装服务方法,步骤为:1)在网站服务器集群安装遥感数据分析工具包;2)在服务器后台根据面向对象脚本语言对遥感数据分析工具包中的分析命令程序和分布式文件系统数据进行封装,得到接口函数和接口对象可调用的数据对象;3)本地用户在终端设备上根据接口对象,调用接口函数对数据对象进行脚本分析处理,并上传计算任务到分网站服务器集群上;4)服务器集群接收将接收到的计算任务分配到网站服务器的计算节点上,并通过脚本解析引擎器对该计算任务进行解析执行。本发明能够将单机环境遥感数据分析工具包抽象化封装成基础接口,用户可在网页上编写遥感数据分析处理脚本,同时提交到服务器集群上运行。
-
公开(公告)号:CN104573405A
公开(公告)日:2015-04-29
申请号:CN201410806842.6
申请日:2014-12-22
Applicant: 中国科学院计算机网络信息中心
IPC: G06F19/14
Abstract: 本发明公开了一种基于大树构建子树的系统进化树重建方法。本方法为:1)对系统进化基础大树进行分割,并记录分割次数、分割权值以及每个叶子节点的关系链,然后存储到数据库中;2)根据物种子名录中的物种名称确定一物种子名录列表,从数据库中查找匹配的节点元素列表,并建立该子名录列表与该节点元素列表的映射关系;3)从数据库中检索该节点元素列表中每个节点元素的关系链和节点权值;4)将关系链两两之间进行比对,形成节点元素的分组关系;5)根据节点元素的节点权值和分组关系,计算每个节点元素在系统进化子树中对应的权值;生成并输出该物种子名录对应的系统进行子树。本方法能满足根据名录快速构建生物样方中生物进化关系等需要。
-
公开(公告)号:CN111026707B
公开(公告)日:2023-01-17
申请号:CN201911070575.X
申请日:2019-11-05
Applicant: 中国科学院计算机网络信息中心
IPC: G06F16/13 , G06F16/14 , G06F16/172
Abstract: 本发明公开了一种小文件对象的存取方法和装置,其步骤为:1)将待存储的小文件对象以数据流的方式存储到数据对象存储库中,并将所述小文件对象的小文件对象标识信息写入元数据库和数据对象存储库的索引文件中;2)当客户端请求读取所述小文件对象时,根据所请求小文件对象的元数据信息查询元数据库获取所请求小文件对象的文件对象位置信息和对应的关联数据获取规则;然后根据关联数据获取规则从元数据库获取与当前所请求小文件对象的关联小文件对象位置信息;然后根据所请求小文件对象的小文件对象位置信息和关联小文件对象位置信息从数据对象存储库中获取对应数据返回给客户端并存储到缓存数据库中。
-
公开(公告)号:CN112418596B
公开(公告)日:2022-10-11
申请号:CN202011084995.6
申请日:2020-10-12
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种生物多样性保护规划的方法,其步骤包括:1)根据设定的生物多样性保护规划条件确定规划范围、规划粒度;其中每一规划范围包括一个或多个规划粒度,根据所得各规划粒度建立一规划粒度列表并根据每一规划粒度的范围确定对应规划粒度内的待保护物种;2)根据每一所述规划粒度内的物种构建一系统发育树,得到多个系统发育树;3)计算每一所述系统发育树的系统发育多样性指数,生成规划范围内多样性指数键值对;4)根据各多样性指数键值计算每一规划范围的物种多样性分布,根据物种多样性分布确定优先保护区域。本发明能够快速计算小粒度单位的系统发育多样性指数分布并确定合理的规划结果。
-
公开(公告)号:CN107315767B
公开(公告)日:2020-08-04
申请号:CN201710348651.3
申请日:2017-05-17
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种通量数据的汇聚重建方法。本方法为:1)在每个远端通量数据观测站点对实时通量数据进行采集并存储;2)各远端通量数据观测站点对采集的通量数据进行元数据的抽取生成元数据文件,并将其传输到中心站点;3)中心站点检查收到的元数据文件是否已有对应的数据库表结构,如果无,则生成该元数据文件的数据库表结构;如有,则根据该元数据文件中的通量数据文件大小判断是否对该元数据文件描述的通量数据文件进行续传;如果续传,则进行4),否则,通知该元数据文件对应的远端通量数据观测站点进行文件备份并开启新文件的汇聚过程;4)中心站点接收该元数据文件的远端通量数据观测站点采集的通量数据文件,并进行数据分片存储。
-
公开(公告)号:CN110471777A
公开(公告)日:2019-11-19
申请号:CN201910568205.2
申请日:2019-06-27
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明涉及一种Python-Web环境中多用户共享使用Spark集群的实现方法和系统。本发明引入多进程来支撑多个Spark上下文,能够利用有限数量的Spark上下文来服务和支持多用户的任务计算请求;利用协程而不是线程来守护子进程,协程之间自主调度;能够将任务计算结果或状态异步返回以便实时响应用户的请求,满足了Web实时交互式使用的需求;利用了Spark任务间调度的特性,对于一些耗时较长的任务,给予用户是否终止该任务的权限,能够让Web用户终止正在运行的Spark任务。本发明能够解决Python开发环境中多Web用户共享使用Spark集群的问题。
-
公开(公告)号:CN105718514B
公开(公告)日:2019-05-17
申请号:CN201610023810.8
申请日:2016-01-14
Applicant: 中国科学院计算机网络信息中心
IPC: G06T15/00
Abstract: 本发明公开了一种基于WEB的遥感影像多波段自由组合渲染方法。本方法为:1)服务器端根据遥感影像的属性信息生成一遥感数据标识及对应存储目录,然后将各波段灰度数据及其元数据存储到对应目录中;2)浏览器端根据用户选择的波段组合及期望的样式信息构造切片请求协议发送给服务器端;3)服务器端根据该切片请求协议中的遥感数据标识及波段组合计算得到一hash值,然后将该hash值在服务器端的缓存中进行查找,如果缓存中已存在该切片请求协议对应的切片,则将其返回为该浏览器端;否则根据该切片请求协议对灰度数据进行渲染、叠加,得到合成切片返回给该浏览器端。本方法可在浏览器端对同一遥感影像的不同波段进行动态组合渲染。
-
公开(公告)号:CN106570108A
公开(公告)日:2017-04-19
申请号:CN201610936474.6
申请日:2016-11-01
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
CPC classification number: G06F16/172 , G06F16/182
Abstract: 本发明提供一种云存储环境下海量数据自适应读取优化方法,其步骤包括:记录本地用户程序的数据访问日志信息;定期统计分析上述日志信息,得到数据对象间的关联关系;根据用户程序的数据访问请求获取与当前访问的数据对象关联的数据对象集合,并预读取到本地缓存;对于用户程序的数据对象访问请求,先从本地缓存中读取,如本地缓存中不存在待访数据对象,则从分布式文件系统的远端存储节点读取。该方法还包括从分布式文件系统的远端存储节点预读取关联的数据对象集合到本地缓存并更新本地缓存。该方法根据统计与分析的数据对象访问日志建立数据对象的关联关系,通过将当前读取数据对象的关联数据对象预读取到本地缓存中,以提高数据读取速度。
-
公开(公告)号:CN103198097A
公开(公告)日:2013-07-10
申请号:CN201310076895.2
申请日:2013-03-11
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开了一种基于分布式文件系统的海量地学数据并行处理方法。本方法为:1)采用分布式文件系统作为地学数据的存储系统,部署在计算集群上;分布式文件系统拥有统一的名称空间;2)计算集群的作业调度系统将接收的计算作业保存到一等待队列中;3)调度系统从等待队列中选择一个计算作业进入运行队列;4)调度系统根据计算作业信息在分布式文件系统的元数据中查找该计算作业运行需要的数据文件所在的计算节点;5)作业调度系统挑选一持有该计算作业运行需要的数据最多的计算节点;该计算节点远程获取该计算作业需要但该计算节点未持有的数据文件,然后在该计算节点执行该计算作业,并返回执行结果。本方法最大程度的做到了计算本地化。
-
公开(公告)号:CN103020325A
公开(公告)日:2013-04-03
申请号:CN201310017750.5
申请日:2013-01-17
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明属于生态及遥感信息学技术领域,涉及一种基于NoSQL数据库的分布式遥感数据组织查询方法,其步骤包括:对原始遥感数据文件进行预处理,并按照指定格式输出初始遥感影像文件;抽取所述初始遥感影像文件中的数据元信息以及每个像素点的数据;将抽取出的数据元信息和每个像素点的数据重构为非结构化的文本数据;将所述非结构化数据存储于NoSQL分布式数据库中,并建立查询索引;根据用户输入的查询条件向用户返回相应的遥感数据并重生成影像文件。本发明能够有效地进行海量遥感数据的存储和管理,可以应用于遥感生态监测、物种分布预测以及遥感数据反演等相关领域。
-
-
-
-
-
-
-
-
-