-
公开(公告)号:CN116126973B
公开(公告)日:2024-09-24
申请号:CN202211725278.6
申请日:2022-12-29
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/27 , G06F16/22 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种气象格点数据管理方法和装置,属于气象信息处理领域。本发明提供基于MPP分布式数据库的气象格点数据存储管理方案,同时针对常见分析算法实现了分布式并行优化,有效提升了格点数据的访问性能。通过PostGrid数据库插件的形式,在数据库内部原生支持格点数据的存储;通过SQL实现对格点数据的操作,包括数据写入、简单查询和复杂分析;充分利用并行处理的优势,针对部分聚合函数实现分布式执行优化;将格点数据以关系模型的方式管理,继承了关系型数据库相比于文件系统的诸多优点,如事务支持,SQL支持,多用户共享等。
-
公开(公告)号:CN116010525B
公开(公告)日:2023-10-13
申请号:CN202310051735.6
申请日:2023-02-02
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明公开一种气象模式数据解码处理方法,包括如下步骤:采用多线程方式,读取模式数据源文件;将所述模式数据源文件拆分成模式单场文件;将拆分的所述模式单场文件进行解析,解析完成后得到模式数据属性和模式数据内容;根据气象服务需求,将解析得到的所述模式数据属性和所述模式数据内容,重新存储入分布式表格数据库,和/或重组生成模式产品文件后入分布式文件库+索引表;待数据处理和入库完成后,将入库数据的DI信息发送至“天镜”监控系统。本发明能处理和接入几乎所有现有业务中的GRIB格式的模式数据,以支撑不同的模式数据服务需求。本发明采用java语言开发,可扩展性强,平台移植性高,能同时在不同平台运行。
-
公开(公告)号:CN116126973A
公开(公告)日:2023-05-16
申请号:CN202211725278.6
申请日:2022-12-29
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/27 , G06F16/22 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种气象格点数据管理方法和装置,属于气象信息处理领域。本发明提供基于MPP分布式数据库的气象格点数据存储管理方案,同时针对常见分析算法实现了分布式并行优化,有效提升了格点数据的访问性能。通过PostGrid数据库插件的形式,在数据库内部原生支持格点数据的存储;通过SQL实现对格点数据的操作,包括数据写入、简单查询和复杂分析;充分利用并行处理的优势,针对部分聚合函数实现分布式执行优化;将格点数据以关系模型的方式管理,继承了关系型数据库相比于文件系统的诸多优点,如事务支持,SQL支持,多用户共享等。
-
公开(公告)号:CN118261267A
公开(公告)日:2024-06-28
申请号:CN202410389615.1
申请日:2024-04-02
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明公开支撑气象数据分析建模的人工智能平台的双集群架构和设计方法,包括位于本地机房的服务集群和位于异地机房的跨云算力集群;服务集群和算力集群间通过API接口实现互通,且本地中心机房的服务器的架构与异地机房的跨云服务器的架构不同。服务集群确保平台入口、平台和用户数据均位于中心机房,保障系统的安全性;算力集群可接入异地机房中的不同规格ARM服务器,支持CPU/GPU的物理/云虚拟机等,将服务器纳入资源池统一调度,只提供算力,不保存平台和用户数据,支持节点伸缩,保证了可插拔性。本发明有效解决跨云异构应用特性带来的集群间Pod无法通信和无法调度跨云异构资源问题。
-
公开(公告)号:CN116126942B
公开(公告)日:2023-11-24
申请号:CN202310087591.X
申请日:2023-02-09
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/2458 , G06F16/22 , G06F16/27
Abstract: 本发明提出了一种多维空间气象网格数据分布式存储查询方法,其包括:步骤1:构建多维空间的网格化数据模型;步骤1:构建多维空间的网格化数据模型;步骤2:基于构建的网格化数据模型,建立索引与数据的对应关系,将整个气象网格数据分解为多个数据块,形成数据块池;步骤3:将模型、索引‑数据㬇射关系存储到索引表,每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表;步骤4:通过计算和查询索引,获取到索引对应的数据块,合并数据块形成新的网格数据集。
-
公开(公告)号:CN116126942A
公开(公告)日:2023-05-16
申请号:CN202310087591.X
申请日:2023-02-09
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/2458 , G06F16/22 , G06F16/27
Abstract: 本发明提出了一种多维空间气象网格数据分布式存储查询方法及系统,其包括:步骤1:构建多维空间的网格化数据模型;步骤1:构建多维空间的网格化数据模型;步骤2:基于构建的网格化数据模型,建立索引与数据的对应关系,将整个气象网格数据分解为多个数据块,形成数据块池;步骤3:将模型、索引‑数据射关系存储到索引表,每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表;步骤4:通过计算和查询索引,获取到索引对应的数据块,合并数据块形成新的网格数据集;步骤5:通过上述步骤,实现多维空间气象网格数据分布式存储查询系统。
-
公开(公告)号:CN116010525A
公开(公告)日:2023-04-25
申请号:CN202310051735.6
申请日:2023-02-02
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明公开一种气象模式数据解码处理方法,包括如下步骤:采用多线程方式,读取模式数据源文件;将所述模式数据源文件拆分成模式单场文件;将拆分的所述模式单场文件进行解析,解析完成后得到模式数据属性和模式数据内容;根据气象服务需求,将解析得到的所述模式数据属性和所述模式数据内容,重新存储入分布式表格数据库,和/或重组生成模式产品文件后入分布式文件库+索引表;待数据处理和入库完成后,将入库数据的DI信息发送至“天镜”监控系统。本发明能处理和接入几乎所有现有业务中的GRIB格式的模式数据,以支撑不同的模式数据服务需求。本发明采用java语言开发,可扩展性强,平台移植性高,能同时在不同平台运行。
-
-
-
-
-
-