-
公开(公告)号:CN115630108A
公开(公告)日:2023-01-20
申请号:CN202211357172.5
申请日:2022-11-01
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明提出了一种基于用户位置的天气实况数据服务接口系统,其基于网格数据分块处理和快速查询的数据存储模型,采用微服务应用模式设计并实现了基于用户位置的天气实况数据服务接口,提升了数据服务时效和用户并发数,为解决同一时刻同一位置不同应用发布的天气实况数据不一致的问题提供了技术支撑。并向全国气象部门54个应用提供天气实况数据,单月访问量超过1亿,系统的高并发、高时效、高可用得到验证。
-
公开(公告)号:CN113076361A
公开(公告)日:2021-07-06
申请号:CN202110285941.4
申请日:2021-03-17
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明公开了一种基于大数据技术的海量气象数据统一服务接口的实现方法,其实现方法包括:首先,基于气象数据环境中的各类数据资源,建立适配不同数据格式的接口,获取和处理各种类型的数据;其次,按照接口的输入参数、输出格式等标准对接口进行标准化封装,提供标准化的调用接口;再次,根据不同的服务类型,调用标准化的调用接口来实现气象数据统一服务,且所述气象数据统一服务接口分为通用接口和定制接口;最后,用户调用气象数据统一服务接口来获取不同的服务,用于向各应用系统提供统一的数据支撑服务。
-
公开(公告)号:CN116126942B
公开(公告)日:2023-11-24
申请号:CN202310087591.X
申请日:2023-02-09
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/2458 , G06F16/22 , G06F16/27
Abstract: 本发明提出了一种多维空间气象网格数据分布式存储查询方法,其包括:步骤1:构建多维空间的网格化数据模型;步骤1:构建多维空间的网格化数据模型;步骤2:基于构建的网格化数据模型,建立索引与数据的对应关系,将整个气象网格数据分解为多个数据块,形成数据块池;步骤3:将模型、索引‑数据㬇射关系存储到索引表,每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表;步骤4:通过计算和查询索引,获取到索引对应的数据块,合并数据块形成新的网格数据集。
-
公开(公告)号:CN116126942A
公开(公告)日:2023-05-16
申请号:CN202310087591.X
申请日:2023-02-09
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/2458 , G06F16/22 , G06F16/27
Abstract: 本发明提出了一种多维空间气象网格数据分布式存储查询方法及系统,其包括:步骤1:构建多维空间的网格化数据模型;步骤1:构建多维空间的网格化数据模型;步骤2:基于构建的网格化数据模型,建立索引与数据的对应关系,将整个气象网格数据分解为多个数据块,形成数据块池;步骤3:将模型、索引‑数据射关系存储到索引表,每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表;步骤4:通过计算和查询索引,获取到索引对应的数据块,合并数据块形成新的网格数据集;步骤5:通过上述步骤,实现多维空间气象网格数据分布式存储查询系统。
-
公开(公告)号:CN119377217A
公开(公告)日:2025-01-28
申请号:CN202411428902.5
申请日:2024-10-14
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/22 , G06F16/215 , G06F21/60
Abstract: 本发明公开一种确保两地三中心自动气象站数据一致性的检查及处理方法,分别对存储在主中心和备中心的自动站数据构建主中心和备中心的HashMap集合;对比主中心和备中心的HashMap集合,获得记录差异集合和要素差异集合;优先对北京备中心记录差异集合和要素差异集合进行处理后,对西安备中心做相同处理。在主备中心对自动气象站数据表每行记录构建对比值字符串,进行MD5加密计算构建Hash码,建立行记录主备中心的HashMap集合对比文件,通过比对主备中心生成的记录差异集合和要素差异集合文件,以主中心为基准,快速定位备中心中不一致的数据记录,从主中心中将差异数据记录取出更新备中心,确保数据的一致性和可靠性。
-
公开(公告)号:CN116643860A
公开(公告)日:2023-08-25
申请号:CN202310462061.9
申请日:2023-04-26
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明公开针对气象机器学习算法运行的优先级调度方法、系统、设备及其计算机程序产品,其中方法包括:根据用户业务特性,将用户配置到相应优先级群组中;当计算任务所需的资源规格大于当前集群的空闲资源时,根据用户所在优先级群组,生成优先级队列;根据优先级队列以及外部沟通情况对资源进行调度和回收;系统包括:优先级信息配置模块,优先级队列生成模块,调度模块和操作模块;电子设备包括存储器、处理器和计算机程序;处理器执行计算机程序时实现上述优先级调度方法;计算机程序产品,被处理器执行时实现上述优先级调度方法的步骤。本发明主要针对气象机器学习训练场景,能够兼顾资源充足时的按需调度以及资源不足时的优先级调度。
-
公开(公告)号:CN115484276A
公开(公告)日:2022-12-16
申请号:CN202211016098.0
申请日:2022-08-24
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: H04L67/1097 , H04L67/568 , H04L9/40 , H04L67/133
Abstract: 本发明公开了一种基于虚拟数据湖的气象数据文件目录服务生成方法及系统,其中方法包括以下步骤:S1、对虚拟数据湖的节点位置进行布设;S2、管理员对异构文件系统相关信息进行配置;S3、管理员通过虚拟数据湖服务端创建对外虚拟服务目录,将多套异构文件系统中的数据聚合形成统一服务虚拟目录视图,实现数据虚拟入湖;S4、在虚拟数据湖服务端创建用户及用户所属分组,并对所属分组进行授权,授权完成后,用户获得该分组对目录的读写权限;S5、用户挂载文件目录访问客户端,用户可将虚拟数据湖服务端的虚拟文件系统中有权限目录直接作为本地存储进行读写使用。本发明能够解决目前一台存储设备已无法满足容量的需求的技术问题。
-
公开(公告)号:CN116126973B
公开(公告)日:2024-09-24
申请号:CN202211725278.6
申请日:2022-12-29
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/27 , G06F16/22 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种气象格点数据管理方法和装置,属于气象信息处理领域。本发明提供基于MPP分布式数据库的气象格点数据存储管理方案,同时针对常见分析算法实现了分布式并行优化,有效提升了格点数据的访问性能。通过PostGrid数据库插件的形式,在数据库内部原生支持格点数据的存储;通过SQL实现对格点数据的操作,包括数据写入、简单查询和复杂分析;充分利用并行处理的优势,针对部分聚合函数实现分布式执行优化;将格点数据以关系模型的方式管理,继承了关系型数据库相比于文件系统的诸多优点,如事务支持,SQL支持,多用户共享等。
-
公开(公告)号:CN116126973A
公开(公告)日:2023-05-16
申请号:CN202211725278.6
申请日:2022-12-29
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/27 , G06F16/22 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种气象格点数据管理方法和装置,属于气象信息处理领域。本发明提供基于MPP分布式数据库的气象格点数据存储管理方案,同时针对常见分析算法实现了分布式并行优化,有效提升了格点数据的访问性能。通过PostGrid数据库插件的形式,在数据库内部原生支持格点数据的存储;通过SQL实现对格点数据的操作,包括数据写入、简单查询和复杂分析;充分利用并行处理的优势,针对部分聚合函数实现分布式执行优化;将格点数据以关系模型的方式管理,继承了关系型数据库相比于文件系统的诸多优点,如事务支持,SQL支持,多用户共享等。
-
公开(公告)号:CN116055043A
公开(公告)日:2023-05-02
申请号:CN202310068160.9
申请日:2023-02-06
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明公开一种数据服务接口鉴权方法及接口网关系统,鉴权方法:生成当前时间戳和随机字符串;将调用者标识、用户秘钥、时间戳和随机字符串拼接到数据请求参数中;按照数据请求参数名的字母升序排列数据请求参数;对数据请求参数数据串进行算法加密,并将加密字符串转成大写,形成参数签名参数;将调用者标识、随机字符串、时间戳和参数签名拼接在数据请求参数中,形成调用请求;判断调用者标识和参数签名是否合法,时间戳是否有效,唯一随机字符串是否存在于服务端集合之中;根据判断结果进行放行或者返回错误码。接口网关系统包括采用上述鉴权方法进行鉴权的用户认证模块。本发明解决了气象数据接口安全性差和服务接口不统一的问题。
-
-
-
-
-
-
-
-
-