-
公开(公告)号：CN116643860A
公开(公告)日：2023-08-25
申请号：CN202310462061.9
申请日：2023-04-26
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明公开针对气象机器学习算法运行的优先级调度方法、系统、设备及其计算机程序产品，其中方法包括：根据用户业务特性，将用户配置到相应优先级群组中；当计算任务所需的资源规格大于当前集群的空闲资源时，根据用户所在优先级群组，生成优先级队列；根据优先级队列以及外部沟通情况对资源进行调度和回收；系统包括：优先级信息配置模块，优先级队列生成模块，调度模块和操作模块；电子设备包括存储器、处理器和计算机程序；处理器执行计算机程序时实现上述优先级调度方法；计算机程序产品，被处理器执行时实现上述优先级调度方法的步骤。本发明主要针对气象机器学习训练场景，能够兼顾资源充足时的按需调度以及资源不足时的优先级调度。
-
公开(公告)号：CN116126973B
公开(公告)日：2024-09-24
申请号：CN202211725278.6
申请日：2022-12-29
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/27 , G06F16/22 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种气象格点数据管理方法和装置，属于气象信息处理领域。本发明提供基于MPP分布式数据库的气象格点数据存储管理方案，同时针对常见分析算法实现了分布式并行优化，有效提升了格点数据的访问性能。通过PostGrid数据库插件的形式，在数据库内部原生支持格点数据的存储；通过SQL实现对格点数据的操作，包括数据写入、简单查询和复杂分析；充分利用并行处理的优势，针对部分聚合函数实现分布式执行优化；将格点数据以关系模型的方式管理,继承了关系型数据库相比于文件系统的诸多优点，如事务支持，SQL支持，多用户共享等。
-
公开(公告)号：CN116010525B
公开(公告)日：2023-10-13
申请号：CN202310051735.6
申请日：2023-02-02
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明公开一种气象模式数据解码处理方法，包括如下步骤：采用多线程方式，读取模式数据源文件；将所述模式数据源文件拆分成模式单场文件；将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容；根据气象服务需求，将解析得到的所述模式数据属性和所述模式数据内容，重新存储入分布式表格数据库，和/或重组生成模式产品文件后入分布式文件库+索引表；待数据处理和入库完成后，将入库数据的DI信息发送至“天镜”监控系统。本发明能处理和接入几乎所有现有业务中的GRIB格式的模式数据，以支撑不同的模式数据服务需求。本发明采用java语言开发，可扩展性强，平台移植性高，能同时在不同平台运行。
-
公开(公告)号：CN116126973A
公开(公告)日：2023-05-16
申请号：CN202211725278.6
申请日：2022-12-29
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/27 , G06F16/22 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种气象格点数据管理方法和装置，属于气象信息处理领域。本发明提供基于MPP分布式数据库的气象格点数据存储管理方案，同时针对常见分析算法实现了分布式并行优化，有效提升了格点数据的访问性能。通过PostGrid数据库插件的形式，在数据库内部原生支持格点数据的存储；通过SQL实现对格点数据的操作，包括数据写入、简单查询和复杂分析；充分利用并行处理的优势，针对部分聚合函数实现分布式执行优化；将格点数据以关系模型的方式管理,继承了关系型数据库相比于文件系统的诸多优点，如事务支持，SQL支持，多用户共享等。
-
Patent Agency Ranking
公开(公告)号：CN116055043A
公开(公告)日：2023-05-02
申请号：CN202310068160.9
申请日：2023-02-06
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明公开一种数据服务接口鉴权方法及接口网关系统，鉴权方法：生成当前时间戳和随机字符串；将调用者标识、用户秘钥、时间戳和随机字符串拼接到数据请求参数中；按照数据请求参数名的字母升序排列数据请求参数；对数据请求参数数据串进行算法加密，并将加密字符串转成大写，形成参数签名参数；将调用者标识、随机字符串、时间戳和参数签名拼接在数据请求参数中，形成调用请求；判断调用者标识和参数签名是否合法，时间戳是否有效，唯一随机字符串是否存在于服务端集合之中；根据判断结果进行放行或者返回错误码。接口网关系统包括采用上述鉴权方法进行鉴权的用户认证模块。本发明解决了气象数据接口安全性差和服务接口不统一的问题。
-
公开(公告)号：CN116010525A
公开(公告)日：2023-04-25
申请号：CN202310051735.6
申请日：2023-02-02
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明公开一种气象模式数据解码处理方法，包括如下步骤：采用多线程方式，读取模式数据源文件；将所述模式数据源文件拆分成模式单场文件；将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容；根据气象服务需求，将解析得到的所述模式数据属性和所述模式数据内容，重新存储入分布式表格数据库，和/或重组生成模式产品文件后入分布式文件库+索引表；待数据处理和入库完成后，将入库数据的DI信息发送至“天镜”监控系统。本发明能处理和接入几乎所有现有业务中的GRIB格式的模式数据，以支撑不同的模式数据服务需求。本发明采用java语言开发，可扩展性强，平台移植性高，能同时在不同平台运行。
-
公开(公告)号：CN113076361A
公开(公告)日：2021-07-06
申请号：CN202110285941.4
申请日：2021-03-17
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明公开了一种基于大数据技术的海量气象数据统一服务接口的实现方法，其实现方法包括：首先，基于气象数据环境中的各类数据资源，建立适配不同数据格式的接口，获取和处理各种类型的数据；其次，按照接口的输入参数、输出格式等标准对接口进行标准化封装，提供标准化的调用接口；再次，根据不同的服务类型，调用标准化的调用接口来实现气象数据统一服务，且所述气象数据统一服务接口分为通用接口和定制接口；最后，用户调用气象数据统一服务接口来获取不同的服务，用于向各应用系统提供统一的数据支撑服务。
-
公开(公告)号：CN116126942B
公开(公告)日：2023-11-24
申请号：CN202310087591.X
申请日：2023-02-09
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/2458 , G06F16/22 , G06F16/27
Abstract: 本发明提出了一种多维空间气象网格数据分布式存储查询方法，其包括：步骤1：构建多维空间的网格化数据模型；步骤1：构建多维空间的网格化数据模型；步骤2：基于构建的网格化数据模型，建立索引与数据的对应关系，将整个气象网格数据分解为多个数据块，形成数据块池；步骤3：将模型、索引‑数据㬇射关系存储到索引表，每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表；步骤4：通过计算和查询索引，获取到索引对应的数据块，合并数据块形成新的网格数据集。
-
公开(公告)号：CN116126942A
公开(公告)日：2023-05-16
申请号：CN202310087591.X
申请日：2023-02-09
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/2458 , G06F16/22 , G06F16/27
Abstract: 本发明提出了一种多维空间气象网格数据分布式存储查询方法及系统，其包括：步骤1：构建多维空间的网格化数据模型；步骤1：构建多维空间的网格化数据模型；步骤2：基于构建的网格化数据模型，建立索引与数据的对应关系，将整个气象网格数据分解为多个数据块，形成数据块池；步骤3：将模型、索引‑数据射关系存储到索引表，每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表；步骤4：通过计算和查询索引，获取到索引对应的数据块，合并数据块形成新的网格数据集；步骤5：通过上述步骤，实现多维空间气象网格数据分布式存储查询系统。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.045 seconds)
