-
公开(公告)号：CN115599524B
公开(公告)日：2023-06-09
申请号：CN202211329376.8
申请日：2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/48
Abstract: 本发明涉及一种基于流数据和批数据协同调度处理的数据湖系统，属于数据处理技术领域；解决现有技术在构建数据湖或对数据湖中的数据进行处理时无法实现流数据与批数据处理任务的混合编排，效率低的问题；本发明的数据湖系统包括：集中式存储模块、计算引擎模块和数据管理模块；其中，集中式存储模块用于分类存储各个业务数据源的数据；数据管理模块用于进行数据处理任务编排，并基于预设的数据处理任务协同调度方法，对每个节点的数据处理任务进行调度处理；计算引擎模块用于基于数据处理任务需求，通过不同的计算引擎对集中式存储模块中的数据进行处理，并将处理后的数据基于数据处理任务的需求进行推送或存入集中式存储模块中。
-
公开(公告)号：CN116150263A
公开(公告)日：2023-05-23
申请号：CN202211240196.2
申请日：2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor： 孟英谦 , 彭龙 , 杜宏博 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
IPC: G06F16/27 , G06F16/28 , G06F16/2458 , G06F8/41
Abstract: 本发明涉及一种分布式图计算引擎，属于涉及图计算技术领域，解决了现有分布式图计算引擎在编译性和存储方面存在的缺陷。分布式图计算引擎包括：分布式图存储引擎模块，采用“多Master‑多Worker”的方式构建分布式图数据库系统，用于对图数据进行管控及数据处理操作；Cyper编译器，用于实现标准OpenCypher语言的语法及语义解译，将解译后的OpenCypher操作命令编译为分布式逻辑执行计划，并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划；分布式图执行引擎模块，用于为用户提供实时图查询和离线图分析服务；图分析算法模块，用于构建图谱挖掘模型；OpenCypher接口模块，用于实现用户通过扩展的openCypher语言访问分布式图计算引擎。
-
Patent Agency Ranking
公开(公告)号：CN115757655A
公开(公告)日：2023-03-07
申请号：CN202211424823.8
申请日：2022-11-14
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/28 , G06N7/01 , G06F16/215
Abstract: 本发明涉及一种基于元数据管理的数据血缘分析系统和方法，属于大数据技术领域。本发明通过获取多个数据源的原始数据，基于清洗规则进行清洗处理，得到清洗后数据；基于数据规范规则对清洗后数据进行规范化处理，得到规范数据；所述数据规范规则包括标准代码映射库和规范化规则；使用数据集成算法集成所述规范数据得到集成后数据；构建元数据管理体系；基于元数据管理体系进行数据的血缘分析并存储到图数据库。本发明提供的血缘分析系统和方法，对异地、异构数据做到表字段级别的血缘分析，支持快速准确的对数据质量回溯和定位问题，实现了对数据、数据源、API、清洗规则、数据标准、应用和管理全要素血缘关系展示。
-
公开(公告)号：CN118193565A
公开(公告)日：2024-06-14
申请号：CN202311844217.6
申请日：2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/242 , G06F16/2455 , G06F16/25 , G06F16/245 , G06F9/50
Abstract: 本发明涉及一种分布式大数据计算引擎，包括：统一接口模块、分布式计算引擎模块和运算结果处理模块；统一接口模块用于接收计算任务，并基于计算任务的数据类型标识进行任务解析，以启动对应的计算引擎；分布式计算引擎模块包括流计算引擎、批计算引擎和批流一体计算引擎，分别用于读取并执行对应的计算任务；运算结果处理模块用于采集各个计算引擎的运行状态数据，进行运行状态监控并向客户端返回任务计算结果。本发明解决了现有技术中的大数据计算引擎在面对多种复杂的计算场景时，无法针对多类型的数据处理任务提供并行高效的实时计算，以进行实时快速响应的问题。
-
公开(公告)号：CN117332269A
公开(公告)日：2024-01-02
申请号：CN202311292957.3
申请日：2023-10-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F18/214 , G06F18/24 , G06N3/0455 , G06N3/08 , G06F16/23
Abstract: 本发明涉及一种基于标签体系的结构化数据增量学习方法，属于自然语言处理领域。该方法包括以下步骤：建立初始标签体系，基于所述初始标签体系对结构化数据集进行人工标注，构建第一训练样本集；构建Bert模型，基于第一训练样本集对Bert模型进行训练得到训练好的Bert模型；将业务数据输入训练好的Bert模型得到相应的特征值，基于所述特征值得到完善的标签体系；构建物联网监控模型，利用所述物联网监控模型对业务数据进行预测得到预测后的业务数据；利用所述完善的标签体系对预测后的业务数据进行标注，构建第二训练样本集；基于第二训练样本集对所述物联网监控模型进行训练得到训练好的物联网监控模型。该方法可自动生成业务所需的特征标签，利用完善的标签体系对业务数据进行标注，提高了模型的识别效果和训练效率。
-
公开(公告)号：CN116992349A
公开(公告)日：2023-11-03
申请号：CN202311029925.4
申请日：2023-08-15
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F18/241 , G06F18/25 , G06F18/2415 , G06N3/0442 , G06N3/0464 , G06N3/047 , G06N3/08 , G08G3/02
Abstract: 本发明涉及一种基于深度学习的民船轨迹行为分析优化方法，属于船舶轨迹分析领域，解决了现有技术中仅使用AIS数据无法分析民船轨迹行为的问题。方法包括：获取待分析民船的AIS数据、待分析民船所在地的天气信息以及包括待分析民船所在海域的图像信息；对AIS数据、天气信息及海域的图像信息进行预处理，得到四组向量，分别为：AIS信息向量、天气信息向量、海上交通繁忙度向量以及民船吃水量向量，将四组向量输入训练好的民船轨迹分析模型得到民船轨迹分析结果。实现了精准分析民船轨迹，避免与其他船只发生碰撞或阻碍航行。
-
公开(公告)号：CN115757655B
公开(公告)日：2023-07-07
申请号：CN202211424823.8
申请日：2022-11-14
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/28 , G06N7/01 , G06F16/215
Abstract: 本发明涉及一种基于元数据管理的数据血缘分析系统和方法，属于大数据技术领域。本发明通过获取多个数据源的原始数据，基于清洗规则进行清洗处理，得到清洗后数据；基于数据规范规则对清洗后数据进行规范化处理，得到规范数据；所述数据规范规则包括标准代码映射库和规范化规则；使用数据集成算法集成所述规范数据得到集成后数据；构建元数据管理体系；基于元数据管理体系进行数据的血缘分析并存储到图数据库。本发明提供的血缘分析系统和方法，对异地、异构数据做到表字段级别的血缘分析，支持快速准确的对数据质量回溯和定位问题，实现了对数据、数据源、API、清洗规则、数据标准、应用和管理全要素血缘关系展示。
-
-
-
-
-
-
Search Results
17
records
(took 0.051 seconds)
