-
公开(公告)号:CN102289483B
公开(公告)日:2012-12-19
申请号:CN201110220537.5
申请日:2011-08-02
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开一种面向全球变化研究的空间科学数据元数据自动汇聚方法,属于信息技术领域。本方法为:1)选定数据源,服务器定期对数据源进行访问,生成下载列表和下载任务;2)根据当前下载列表和下载任务,访问数据源服务器,进行元数据文件下载,并将其保存到服务器;3)对下载的元数据文件进行质量检查,并对检查合格的元数据文件进行元数据项提取、计算和转换;4)将元数据文件路径、元数据项保存到元数据项数据库并建立索引;5)通过文件路径、元数据项数据库的id值、索引项的id值,建立元数据文件、元数据项数据库数据、索引数据之间一一对应的映射关系。本方法可一站式地查询分布在全球各地的海量全球变化空间科学数据元数据资源。
-
公开(公告)号:CN102289483A
公开(公告)日:2011-12-21
申请号:CN201110220537.5
申请日:2011-08-02
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开一种面向全球变化研究的空间科学数据元数据自动汇聚方法,属于信息技术领域。本方法为:1)选定数据源,服务器定期对数据源进行访问,生成下载列表和下载任务;2)根据当前下载列表和下载任务,访问数据源服务器,进行元数据文件下载,并将其保存到服务器;3)对下载的元数据文件进行质量检查,并对检查合格的元数据文件进行元数据项提取、计算和转换;4)将元数据文件路径、元数据项保存到元数据项数据库并建立索引;5)通过文件路径、元数据项数据库的id值、索引项的id值,建立元数据文件、元数据项数据库数据、索引数据之间一一对应的映射关系。本方法可一站式地查询分布在全球各地的海量全球变化空间科学数据元数据资源。
-
公开(公告)号:CN110442444A
公开(公告)日:2019-11-12
申请号:CN201910524378.4
申请日:2019-06-18
Applicant: 中国科学院计算机网络信息中心
Abstract: 本发明公开了一种面向海量遥感影像的并行数据访问方法与系统,其存储方法为:1)用于采用设定网格体系对待处理的遥感影像进行切分,每一网格内的数据对应一数据块;2)收集过去一段时间内底层分布式对象存储系统Ceph的数据访问日志,衡量各Ceph集群的负载指标和各Pool的负载指标;3)依据步骤2)确定的负载指标,选择当前负载最小的Ceph集群中负载最小的Pool作为当前数据块的存储位置,将各个数据块写入对应Pool中;4)各数据块存储成功后,返回一数据标识dataid和该遥感影像的数据访问路径;5)将各数据块的元数据存储于元数据库。本发明可以支持基于步骤1)划分的网格数据块的大区域数据快速高并发读写。
-
公开(公告)号:CN103246516A
公开(公告)日:2013-08-14
申请号:CN201310182081.7
申请日:2013-05-16
Applicant: 中国科学院计算机网络信息中心
IPC: G06F9/44
Abstract: 本发明涉及基于互联网的遥感数据分析工具封装服务方法,步骤为:1)在网站服务器集群安装遥感数据分析工具包;2)在服务器后台根据面向对象脚本语言对遥感数据分析工具包中的分析命令程序和分布式文件系统数据进行封装,得到接口函数和接口对象可调用的数据对象;3)本地用户在终端设备上根据接口对象,调用接口函数对数据对象进行脚本分析处理,并上传计算任务到分网站服务器集群上;4)服务器集群接收将接收到的计算任务分配到网站服务器的计算节点上,并通过脚本解析引擎器对该计算任务进行解析执行。本发明能够将单机环境遥感数据分析工具包抽象化封装成基础接口,用户可在网页上编写遥感数据分析处理脚本,同时提交到服务器集群上运行。
-
公开(公告)号:CN102254030B
公开(公告)日:2013-04-10
申请号:CN201110220536.0
申请日:2011-08-02
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开了一种面向全球变化研究的空间科学数据自动汇聚方法,属于信息技术领域。本方法为:1)服务器定期对数据源进行访问,生成下载任务;2)根据当前下载任务,下载元数据文件并保存到服务器,对下载的文件进行质量检查、元数据项提取、计算和转换;3)将元数据文件路径、元数据项保存到元数据项数据库并建立索引;4)建立元数据文件、元数据项数据库数据、索引数据之间的映射关系,并提供一检索接口;5)服务器据查询条件查询是否存在所查询实体数据,若不存在则据数据预订申请生成实体数据下载任务进行下载,并对下载数据进行质量检查及元数据项更新。本方法可一站式地查询、获取分布在全球各地的海量全球变化空间科学数据资源。
-
公开(公告)号:CN102254030A
公开(公告)日:2011-11-23
申请号:CN201110220536.0
申请日:2011-08-02
Applicant: 中国科学院计算机网络信息中心
IPC: G06F17/30
Abstract: 本发明公开了一种面向全球变化研究的空间科学数据自动汇聚方法,属于信息技术领域。本方法为:1)服务器定期对数据源进行访问,生成下载任务;2)根据当前下载任务,下载元数据文件并保存到服务器,对下载的文件进行质量检查、元数据项提取、计算和转换;3)将元数据文件路径、元数据项保存到元数据项数据库并建立索引;4)建立元数据文件、元数据项数据库数据、索引数据之间的映射关系,并提供一检索接口;5)服务器据查询条件查询是否存在所查询实体数据,若不存在则据数据预订申请生成实体数据下载任务进行下载,并对下载数据进行质量检查及元数据项更新。本方法可一站式地查询、获取分布在全球各地的海量全球变化空间科学数据资源。
-
-
-
-
-