-
公开(公告)号:CN117806781A
公开(公告)日:2024-04-02
申请号:CN202311842540.X
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及种一种分布式流处理任务调度方法及设备,该方法包括:基于流处理任务中的多个待执行的任务信息,通过控制模块生成有向无环图;并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点;获取各个物理计算节点的资源使用率,并基于资源使用率判断是否需要对对应的物理计算节点的任务进行任务调度;若判定需要进行任务调度,则基于每个物理计算节点的资源信息,计算得到各个物理计算节点对应的任务调度优先级,并基于任务调度优先级最高的物理计算节点对待调度的任务进行任务调度。本发明解决了现有技术中的流处理任务调度时没有考虑硬件资源的限制,导致数据处理瓶颈,进而引起数据处理延迟的问题。
-
公开(公告)号:CN115586869B
公开(公告)日:2023-06-06
申请号:CN202211193073.8
申请日:2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种自组网系统及自组网系统的流数据处理方法,属于数据处理技术领域;解决现有技术中的自组网系统硬件存储成本高,且现有的流数据处理方法处理速度慢的问题;本发明的系统包括至少一种数据采集设备、客户端和服务器;其中,至少一种数据采集设备用于采集得到流数据,并通过无线链路向服务器发送写数据请求;客户端用于向服务器发送读数据请求;服务器包括存储器和处理器;处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储,并在接收到读数据请求时,按预设的流程读取存储器中存储的数据到客户端;冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。
-
公开(公告)号:CN119599489A
公开(公告)日:2025-03-11
申请号:CN202411588010.1
申请日:2024-11-08
Applicant: 中国兵器工业计算机应用技术研究所
Inventor: 王嘉岩 , 葛晋鹏 , 彭龙 , 杜宏博 , 鲁东民 , 李皓 , 李晓政 , 魏中锐 , 纪沈江 , 王强 , 张敏 , 徐天敕 , 邬书豪 , 吕鹏辉 , 张雪峰 , 黄昊 , 杨昊伟 , 饶雷
IPC: G06Q10/0639 , G06Q10/0631 , G06F18/25 , G06N5/04
Abstract: 本发明涉及一种基于自适应博弈算法的车辆集群数据融合和资源分配方法,属于车辆资源技术领域,解决了现有车辆集群在作业中面对动态多变的作业环境以及车辆表现波动时无法做到精准的任务和资源分配的问题。包括:获取车辆集群中各车辆在执行任务过程中产生的若干任务周期的多维度任务数据,得到车辆集群中各车辆的任务表现数据集;对各车辆在当前任务周期的任务表现数据集进行数据融合,得到各车辆的任务表现评分;基于各车辆任务表现评分,对各车辆在当前任务周期的任务执行能力进行评估,动态分配各车辆的任务和资源;以预设任务周期数作为观测窗口,基于各车辆在观测窗口期内的各任务周期的任务表现评分的波动值,渐进式调整各车辆分配的资源。
-
公开(公告)号:CN118551365A
公开(公告)日:2024-08-27
申请号:CN202410507726.8
申请日:2024-04-25
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种面向联合推演仿真下的模型安全控制方法,包括:环境准备;为面向联合推演仿真模型安全运行提供包括计算、存储和网络在内的基础环境;部署及运行授权工具;进行所述模型的基本文件、运行环境和运行时间限制;部署及运行基本认证工具;进行所述模型基本认证;部署及运行数据沙箱;在构建联合推演仿真过程环境中,运行数据沙箱进行模型的推演仿真;部署及运行数据可信溯源工具;将联合推演环境关键操作、模型运行过程及运行结果上链,进行联合推演仿真操作可信溯源。本发明防止了联合推演仿真下核心资产的泄露,实现了联合推演仿真的安全可控。
-
公开(公告)号:CN118075133A
公开(公告)日:2024-05-24
申请号:CN202410176471.1
申请日:2024-02-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: H04L41/0896 , G06F9/455 , H04L41/0894 , H04L41/0816 , H04L41/147
Abstract: 本发明涉及一种基于Kubernetes改进的扩缩容系统,属于云平台的应用部署技术领域。本发明系统包括在云平台上部署Kubernetes和自主实现的应用管理组件、扩缩容计划调度组件、扩缩容脚本执行组件和扩容调整组件,通过各组件与Kubernetes实现扩缩容,改进原Kubernetes只能基于系统各指标阈值进行扩缩容的机制,实现基于历史数据分析预测当天的负载高峰时段以对负载高峰时段提前进行计划扩容,解决Kubernetes的弹性扩缩容机制需要在监测到负载超过一定阈值时才发起扩缩容导致的扩容滞后性,同时可以避免在负载波动大的情况下频繁扩缩容造成的资源损耗和应用的不稳定;本发明系统还实现在负载高峰时段基于业务指标值对应用的资源进行实时扩缩容,解决了原Kubernetes的弹性扩缩容机制与业务脱节的问题。
-
公开(公告)号:CN118069291A
公开(公告)日:2024-05-24
申请号:CN202410176473.0
申请日:2024-02-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/455 , H04L67/1001 , G06F9/50
Abstract: 本发明涉及一种基于业务和结果导向的弹性扩缩容方法,属于云计算技术领域。本发明方法包括:基于历史扩容数据预测当天负载高峰时段,基于各负载高峰时段对应的历史扩容数据和当天的任务信息确定各负载高峰时段的计划扩容执行时间和计划扩容策略;在各计划扩容策略执行的过程中,基于实时监控的业务指标值和系统性能指标值调整各计划扩容策略,并将调整后扩容策略记录至所述负载高峰时段对应的扩容数据中;其他时段,基于实时监控的业务指标值和系统性能指标值执行实时扩容和缩容并记录至相应时段对应的扩容数据中。本发明方法可以解决现有技术中扩缩容不能满足业务预期效果、扩缩容滞后以及当负载波动大时造成的性能损耗和不稳定问题。
-
公开(公告)号:CN117950764A
公开(公告)日:2024-04-30
申请号:CN202410139718.2
申请日:2024-01-31
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种基于中间数据的任务断点重跑方法及系统,属于批流一体数据处理领域。本发明方法包括:基于数据处理任务确定相应的DAG图,DAG图用于表示执行所述任务的各任务算子的执行顺序和执行方向;基于DAG图执行数据处理任务,执行时记录输入数据在相应数据源中的偏移位置、各任务算子的执行结果标志,当所述执行结果标志为成功时,记录该任务算子形成的中间数据;其中,所述输入数据为从相应数据源中持续读取的批数据或流数据;在所述任务执行失败时,基于所述执行结果标志以及所述偏移位置或中间数据执行任务断点重跑。本发明方法可以避免失败的批流一体数据处理任务在重跑过程中出现的数据丢失、数据重复等问题,并提升任务重跑效率。
-
公开(公告)号:CN117828166A
公开(公告)日:2024-04-05
申请号:CN202311844404.4
申请日:2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/9532 , G06F16/332 , G06F16/31 , G06F16/182 , G06F9/50
Abstract: 本发明涉及基于统一搜索及大数据处理的分布式计算引擎,包括:统一接口模块、分布式执行模块和存储管理模块;统一接口模块用于接收计算任务,并进行任务解析,以根据任务解析得到的任务类型启动对应的计算引擎;分布式执行模块包括搜索计算引擎、图计算引擎和流计算引擎,分别用于读取并执行对应的计算任务;存储管理模块用于对搜索计算引擎、流计算引擎和图计算引擎对应的数据进行统一的数据表及存储管理。本发明解决了现有技术中的数据计算引擎在面对多种复杂的计算场景时,无法针对多类型的数据处理任务提供并行高效的实时计算,以进行实时快速响应的问题。
-
公开(公告)号:CN115562676B
公开(公告)日:2023-06-06
申请号:CN202211240180.1
申请日:2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor: 孟英谦 , 杜宏博 , 彭龙 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
Abstract: 本发明提供了一种图计算引擎的触发方法,属于图计算技术领域,解决了现有图计算引擎的编译过程执行效率较差的问题。触发方法包括:接收OpenCypher操作指令;启动Cypher编译器,对OpenCypher操作指令进行语法及语义解译,将解译后的OpenCypher操作命令编译为分布式逻辑执行计划,并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划;向GraphMaster进行注册并申请资源;GraphMaster根据物理执行计划获取待执行任务,将待执行任务分解成多个一级任务,并将各一级任务分配给不同的GraphSlave;GraphSlave将接收到的一级任务分解成多个二级任务,并将各二级任务分配给不同的Worker,由Worker执行相应二级任务;所有待执行任务完成后,向GraphMaster申请资源注销,等待接收下一次OpenCypher操作指令。
-
公开(公告)号:CN115562676A
公开(公告)日:2023-01-03
申请号:CN202211240180.1
申请日:2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor: 孟英谦 , 杜宏博 , 彭龙 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
Abstract: 本发明提供了一种图计算引擎的触发方法,属于图计算技术领域,解决了现有图计算引擎的编译过程执行效率较差的问题。触发方法包括:接收OpenCypher操作指令;启动Cypher编译器,对OpenCypher操作指令进行语法及语义解译,将解译后的OpenCypher操作命令编译为分布式逻辑执行计划,并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划;向GraphMaster进行注册并申请资源;GraphMaster根据物理执行计划获取待执行任务,将待执行任务分解成多个一级任务,并将各一级任务分配给不同的GraphSlave;GraphSlave将接收到的一级任务分解成多个二级任务,并将各二级任务分配给不同的Worker,由Worker执行相应二级任务;所有待执行任务完成后,向GraphMaster申请资源注销,等待接收下一次OpenCypher操作指令。
-
-
-
-
-
-
-
-
-