-
公开(公告)号:CN117806781A
公开(公告)日:2024-04-02
申请号:CN202311842540.X
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及种一种分布式流处理任务调度方法及设备,该方法包括:基于流处理任务中的多个待执行的任务信息,通过控制模块生成有向无环图;并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点;获取各个物理计算节点的资源使用率,并基于资源使用率判断是否需要对对应的物理计算节点的任务进行任务调度;若判定需要进行任务调度,则基于每个物理计算节点的资源信息,计算得到各个物理计算节点对应的任务调度优先级,并基于任务调度优先级最高的物理计算节点对待调度的任务进行任务调度。本发明解决了现有技术中的流处理任务调度时没有考虑硬件资源的限制,导致数据处理瓶颈,进而引起数据处理延迟的问题。
-
公开(公告)号:CN115586869B
公开(公告)日:2023-06-06
申请号:CN202211193073.8
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种自组网系统及自组网系统的流数据处理方法,属于数据处理技术领域;解决现有技术中的自组网系统硬件存储成本高,且现有的流数据处理方法处理速度慢的问题;本发明的系统包括至少一种数据采集设备、客户端和服务器;其中,至少一种数据采集设备用于采集得到流数据,并通过无线链路向服务器发送写数据请求;客户端用于向服务器发送读数据请求;服务器包括存储器和处理器;处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储,并在接收到读数据请求时,按预设的流程读取存储器中存储的数据到客户端;冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。
-
公开(公告)号:CN118113424A
公开(公告)日:2024-05-31
申请号:CN202311844662.2
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种分布式流计算引擎,包括:控制节点模块,计算节点模块和Zookeeper集群模块;计算节点模块包括多个物理计算节点,用于监测和执行对应的流计算任务;Zookeeper集群模块部署在多个服务器上,用于存储多个物理计算节点的所有状态信息和任务信息,以供计算节点模块和控制节点模块进行实时监控调用;控制节点模块用于基于流处理任务生成有向无环图;并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点进行处理,并基于每个物理计算节点的资源信息进行任务调度,以实现流数据的低延时处理。本发明解决了现有技术中的流数据处理由于硬件资源受限导致数据处理瓶颈,进而引起数据处理延迟的问题。
-
公开(公告)号:CN115586869A
公开(公告)日:2023-01-10
申请号:CN202211193073.8
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种自组网系统及自组网系统的流数据处理方法,属于数据处理技术领域;解决现有技术中的自组网系统硬件存储成本高,且现有的流数据处理方法处理速度慢的问题;本发明的系统包括至少一种数据采集设备、客户端和服务器;其中,至少一种数据采集设备用于采集得到流数据,并通过无线链路向服务器发送写数据请求;客户端用于向服务器发送读数据请求;服务器包括存储器和处理器;处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储,并在接收到读数据请求时,按预设的流程读取存储器中存储的数据到客户端;冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。
-
公开(公告)号:CN115438236B
公开(公告)日:2023-08-29
申请号:CN202211196900.9
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/903 , G06F16/901 , G06F16/9038 , G06F16/951 , G06F16/9535
Abstract: 本发明涉及一种用于统一混合搜索系统和方法,属于数据处理技术领域;解决了现有技术中在进行关键词搜索时,需要全方位进行搜索,导致对于搜索资源占用过大,搜索进度缓慢,在多人同时搜索是易导致搜索引擎崩溃的问题;本发明的方法包括获取待搜索关键词;通过设置的优先级,对本地预存储的热数据关键词、非本地预存储的热数据关键词、本地预存储的冷数据关键词和非本地预存储的冷数据关键词进行对比搜索;当搜索得到符合的热数据或冷数据关键词时,则对所述关键词及关键词所对应的数据源地址进行显示处理,得到搜索结果;其中,所述数据源地址与对应的关键词超链接。
-
公开(公告)号:CN116150263B
公开(公告)日:2023-07-25
申请号:CN202211240196.2
申请日:2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor: 孟英谦 , 彭龙 , 杜宏博 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
IPC: G06F16/27 , G06F16/28 , G06F16/2458 , G06F8/41
Abstract: 本发明涉及一种分布式图计算引擎,属于涉及图计算技术领域,解决了现有分布式图计算引擎在编译性和存储方面存在的缺陷。分布式图计算引擎包括:分布式图存储引擎模块,采用“多Master‑多Worker”的方式构建分布式图数据库系统,用于对图数据进行管控及数据处理操作;Cyper编译器,用于实现标准OpenCypher语言的语法及语义解译,将解译后的OpenCypher操作命令编译为分布式逻辑执行计划,并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划;分布式图执行引擎模块,用于为用户提供实时图查询和离线图分析服务;图分析算法模块,用于构建图谱挖掘模型;OpenCypher接口模块,用于实现用户通过扩展的openCypher语言访问分布式图计算引擎。
-
公开(公告)号:CN116150263A
公开(公告)日:2023-05-23
申请号:CN202211240196.2
申请日:2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor: 孟英谦 , 彭龙 , 杜宏博 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
IPC: G06F16/27 , G06F16/28 , G06F16/2458 , G06F8/41
Abstract: 本发明涉及一种分布式图计算引擎,属于涉及图计算技术领域,解决了现有分布式图计算引擎在编译性和存储方面存在的缺陷。分布式图计算引擎包括:分布式图存储引擎模块,采用“多Master‑多Worker”的方式构建分布式图数据库系统,用于对图数据进行管控及数据处理操作;Cyper编译器,用于实现标准OpenCypher语言的语法及语义解译,将解译后的OpenCypher操作命令编译为分布式逻辑执行计划,并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划;分布式图执行引擎模块,用于为用户提供实时图查询和离线图分析服务;图分析算法模块,用于构建图谱挖掘模型;OpenCypher接口模块,用于实现用户通过扩展的openCypher语言访问分布式图计算引擎。
-
公开(公告)号:CN115438236A
公开(公告)日:2022-12-06
申请号:CN202211196900.9
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/903 , G06F16/901 , G06F16/9038 , G06F16/951 , G06F16/9535
Abstract: 本发明涉及一种用于统一混合搜索系统和方法,属于数据处理技术领域;解决了现有技术中在进行关键词搜索时,需要全方位进行搜索,导致对于搜索资源占用过大,搜索进度缓慢,在多人同时搜索是易导致搜索引擎崩溃的问题;本发明的方法包括获取待搜索关键词;通过设置的优先级,对本地预存储的热数据关键词、非本地预存储的热数据关键词、本地预存储的冷数据关键词和非本地预存储的冷数据关键词进行对比搜索;当搜索得到符合的热数据或冷数据关键词时,则对所述关键词及关键词所对应的数据源地址进行显示处理,得到搜索结果;其中,所述数据源地址与对应的关键词超链接。
-
公开(公告)号:CN118551365A
公开(公告)日:2024-08-27
申请号:CN202410507726.8
申请日:2024-04-25
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种面向联合推演仿真下的模型安全控制方法,包括:环境准备;为面向联合推演仿真模型安全运行提供包括计算、存储和网络在内的基础环境;部署及运行授权工具;进行所述模型的基本文件、运行环境和运行时间限制;部署及运行基本认证工具;进行所述模型基本认证;部署及运行数据沙箱;在构建联合推演仿真过程环境中,运行数据沙箱进行模型的推演仿真;部署及运行数据可信溯源工具;将联合推演环境关键操作、模型运行过程及运行结果上链,进行联合推演仿真操作可信溯源。本发明防止了联合推演仿真下核心资产的泄露,实现了联合推演仿真的安全可控。
-
公开(公告)号:CN117828166A
公开(公告)日:2024-04-05
申请号:CN202311844404.4
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/9532 , G06F16/332 , G06F16/31 , G06F16/182 , G06F9/50
Abstract: 本发明涉及基于统一搜索及大数据处理的分布式计算引擎,包括:统一接口模块、分布式执行模块和存储管理模块;统一接口模块用于接收计算任务,并进行任务解析,以根据任务解析得到的任务类型启动对应的计算引擎;分布式执行模块包括搜索计算引擎、图计算引擎和流计算引擎,分别用于读取并执行对应的计算任务;存储管理模块用于对搜索计算引擎、流计算引擎和图计算引擎对应的数据进行统一的数据表及存储管理。本发明解决了现有技术中的数据计算引擎在面对多种复杂的计算场景时,无法针对多类型的数据处理任务提供并行高效的实时计算,以进行实时快速响应的问题。
-
-
-
-
-
-
-
-
-