-
公开(公告)号：CN115599524A
公开(公告)日：2023-01-13
申请号：CN202211329376.8
申请日：2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所(CN)
IPC: G06F9/48
Abstract: 本发明涉及一种基于流数据和批数据协同调度处理的数据湖系统，属于数据处理技术领域；解决现有技术在构建数据湖或对数据湖中的数据进行处理时无法实现流数据与批数据处理任务的混合编排，效率低的问题；本发明的数据湖系统包括：集中式存储模块、计算引擎模块和数据管理模块；其中，集中式存储模块用于分类存储各个业务数据源的数据；数据管理模块用于进行数据处理任务编排，并基于预设的数据处理任务协同调度方法，对每个节点的数据处理任务进行调度处理；计算引擎模块用于基于数据处理任务需求，通过不同的计算引擎对集中式存储模块中的数据进行处理，并将处理后的数据基于数据处理任务的需求进行推送或存入集中式存储模块中。
-
公开(公告)号：CN118113424A
公开(公告)日：2024-05-31
申请号：CN202311844662.2
申请日：2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种分布式流计算引擎，包括：控制节点模块，计算节点模块和Zookeeper集群模块；计算节点模块包括多个物理计算节点，用于监测和执行对应的流计算任务；Zookeeper集群模块部署在多个服务器上，用于存储多个物理计算节点的所有状态信息和任务信息，以供计算节点模块和控制节点模块进行实时监控调用；控制节点模块用于基于流处理任务生成有向无环图；并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点进行处理，并基于每个物理计算节点的资源信息进行任务调度，以实现流数据的低延时处理。本发明解决了现有技术中的流数据处理由于硬件资源受限导致数据处理瓶颈，进而引起数据处理延迟的问题。
-
公开(公告)号：CN115757655B
公开(公告)日：2023-07-07
申请号：CN202211424823.8
申请日：2022-11-14
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/28 , G06N7/01 , G06F16/215
Abstract: 本发明涉及一种基于元数据管理的数据血缘分析系统和方法，属于大数据技术领域。本发明通过获取多个数据源的原始数据，基于清洗规则进行清洗处理，得到清洗后数据；基于数据规范规则对清洗后数据进行规范化处理，得到规范数据；所述数据规范规则包括标准代码映射库和规范化规则；使用数据集成算法集成所述规范数据得到集成后数据；构建元数据管理体系；基于元数据管理体系进行数据的血缘分析并存储到图数据库。本发明提供的血缘分析系统和方法，对异地、异构数据做到表字段级别的血缘分析，支持快速准确的对数据质量回溯和定位问题，实现了对数据、数据源、API、清洗规则、数据标准、应用和管理全要素血缘关系展示。
-
公开(公告)号：CN115586869A
公开(公告)日：2023-01-10
申请号：CN202211193073.8
申请日：2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种自组网系统及自组网系统的流数据处理方法，属于数据处理技术领域；解决现有技术中的自组网系统硬件存储成本高，且现有的流数据处理方法处理速度慢的问题；本发明的系统包括至少一种数据采集设备、客户端和服务器；其中，至少一种数据采集设备用于采集得到流数据，并通过无线链路向服务器发送写数据请求；客户端用于向服务器发送读数据请求；服务器包括存储器和处理器；处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储，并在接收到读数据请求时，按预设的流程读取存储器中存储的数据到客户端；冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。
-
公开(公告)号：CN116150263B
公开(公告)日：2023-07-25
申请号：CN202211240196.2
申请日：2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor： 孟英谦 , 彭龙 , 杜宏博 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
IPC: G06F16/27 , G06F16/28 , G06F16/2458 , G06F8/41
Abstract: 本发明涉及一种分布式图计算引擎，属于涉及图计算技术领域，解决了现有分布式图计算引擎在编译性和存储方面存在的缺陷。分布式图计算引擎包括：分布式图存储引擎模块，采用“多Master‑多Worker”的方式构建分布式图数据库系统，用于对图数据进行管控及数据处理操作；Cyper编译器，用于实现标准OpenCypher语言的语法及语义解译，将解译后的OpenCypher操作命令编译为分布式逻辑执行计划，并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划；分布式图执行引擎模块，用于为用户提供实时图查询和离线图分析服务；图分析算法模块，用于构建图谱挖掘模型；OpenCypher接口模块，用于实现用户通过扩展的openCypher语言访问分布式图计算引擎。
-
Patent Agency Ranking
公开(公告)号：CN115599524B
公开(公告)日：2023-06-09
申请号：CN202211329376.8
申请日：2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/48
Abstract: 本发明涉及一种基于流数据和批数据协同调度处理的数据湖系统，属于数据处理技术领域；解决现有技术在构建数据湖或对数据湖中的数据进行处理时无法实现流数据与批数据处理任务的混合编排，效率低的问题；本发明的数据湖系统包括：集中式存储模块、计算引擎模块和数据管理模块；其中，集中式存储模块用于分类存储各个业务数据源的数据；数据管理模块用于进行数据处理任务编排，并基于预设的数据处理任务协同调度方法，对每个节点的数据处理任务进行调度处理；计算引擎模块用于基于数据处理任务需求，通过不同的计算引擎对集中式存储模块中的数据进行处理，并将处理后的数据基于数据处理任务的需求进行推送或存入集中式存储模块中。
-
公开(公告)号：CN116150263A
公开(公告)日：2023-05-23
申请号：CN202211240196.2
申请日：2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor： 孟英谦 , 彭龙 , 杜宏博 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
IPC: G06F16/27 , G06F16/28 , G06F16/2458 , G06F8/41
Abstract: 本发明涉及一种分布式图计算引擎，属于涉及图计算技术领域，解决了现有分布式图计算引擎在编译性和存储方面存在的缺陷。分布式图计算引擎包括：分布式图存储引擎模块，采用“多Master‑多Worker”的方式构建分布式图数据库系统，用于对图数据进行管控及数据处理操作；Cyper编译器，用于实现标准OpenCypher语言的语法及语义解译，将解译后的OpenCypher操作命令编译为分布式逻辑执行计划，并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划；分布式图执行引擎模块，用于为用户提供实时图查询和离线图分析服务；图分析算法模块，用于构建图谱挖掘模型；OpenCypher接口模块，用于实现用户通过扩展的openCypher语言访问分布式图计算引擎。
-
公开(公告)号：CN115757655A
公开(公告)日：2023-03-07
申请号：CN202211424823.8
申请日：2022-11-14
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/28 , G06N7/01 , G06F16/215
Abstract: 本发明涉及一种基于元数据管理的数据血缘分析系统和方法，属于大数据技术领域。本发明通过获取多个数据源的原始数据，基于清洗规则进行清洗处理，得到清洗后数据；基于数据规范规则对清洗后数据进行规范化处理，得到规范数据；所述数据规范规则包括标准代码映射库和规范化规则；使用数据集成算法集成所述规范数据得到集成后数据；构建元数据管理体系；基于元数据管理体系进行数据的血缘分析并存储到图数据库。本发明提供的血缘分析系统和方法，对异地、异构数据做到表字段级别的血缘分析，支持快速准确的对数据质量回溯和定位问题，实现了对数据、数据源、API、清洗规则、数据标准、应用和管理全要素血缘关系展示。
-
公开(公告)号：CN119583587A
公开(公告)日：2025-03-07
申请号：CN202411574175.3
申请日：2024-11-06
Applicant: 中国兵器工业计算机应用技术研究所
Inventor： 王嘉岩 , 葛晋鹏 , 孟英谦 , 杜宏博 , 鲁东民 , 李皓 , 李晓政 , 魏中锐 , 纪沈江 , 王强 , 张敏 , 徐天敕 , 邬书豪 , 吕鹏辉 , 张雪峰 , 黄昊 , 杨昊伟 , 饶雷
IPC: H04L67/12 , G06F18/24 , G06F18/25 , G06N3/045 , G06N3/0442 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于深度学习与自适应优化的车辆集群动态分级存储方法，属于数据存储技术领域，解决了现有车辆数据存储系统面临的冷热数据分配不灵活、缓存管理效率低、异常检测能力弱以及冷数据长期存储效率低的问题。包括：获取车辆集群中各车辆的多源车辆数据并进行预处理，得到各车辆在同一时间轴的同步多源车辆数据；基于各车辆的同步多源车辆数据，使用多层次动态时效性及访问频率特征提取网络对同步多源数据进行分类，将各车辆数据标记为冷数据、热数据或中频数据；其中，所述多层次动态时效性及访问频率特征提取网络基于优先级评分对各车辆数据进行分类；构建多层动态缓存架构，对同步多源车辆数据基于标记结果进行动态多层次缓存存储。
-
公开(公告)号：CN117950764B
公开(公告)日：2024-09-17
申请号：CN202410139718.2
申请日：2024-01-31
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种基于中间数据的任务断点重跑方法及系统，属于批流一体数据处理领域。本发明方法包括：基于数据处理任务确定相应的DAG图，DAG图用于表示执行所述任务的各任务算子的执行顺序和执行方向；基于DAG图执行数据处理任务，执行时记录输入数据在相应数据源中的偏移位置、各任务算子的执行结果标志，当所述执行结果标志为成功时，记录该任务算子形成的中间数据；其中，所述输入数据为从相应数据源中持续读取的批数据或流数据；在所述任务执行失败时，基于所述执行结果标志以及所述偏移位置或中间数据执行任务断点重跑。本发明方法可以避免失败的批流一体数据处理任务在重跑过程中出现的数据丢失、数据重复等问题，并提升任务重跑效率。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.03 seconds)
