-
公开(公告)号：CN117806781A
公开(公告)日：2024-04-02
申请号：CN202311842540.X
申请日：2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及种一种分布式流处理任务调度方法及设备，该方法包括：基于流处理任务中的多个待执行的任务信息，通过控制模块生成有向无环图；并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点；获取各个物理计算节点的资源使用率，并基于资源使用率判断是否需要对对应的物理计算节点的任务进行任务调度；若判定需要进行任务调度，则基于每个物理计算节点的资源信息，计算得到各个物理计算节点对应的任务调度优先级，并基于任务调度优先级最高的物理计算节点对待调度的任务进行任务调度。本发明解决了现有技术中的流处理任务调度时没有考虑硬件资源的限制，导致数据处理瓶颈，进而引起数据处理延迟的问题。
-
公开(公告)号：CN115586869B
公开(公告)日：2023-06-06
申请号：CN202211193073.8
申请日：2022-09-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F3/06
Abstract: 本发明涉及一种自组网系统及自组网系统的流数据处理方法，属于数据处理技术领域；解决现有技术中的自组网系统硬件存储成本高，且现有的流数据处理方法处理速度慢的问题；本发明的系统包括至少一种数据采集设备、客户端和服务器；其中，至少一种数据采集设备用于采集得到流数据，并通过无线链路向服务器发送写数据请求；客户端用于向服务器发送读数据请求；服务器包括存储器和处理器；处理器用于在接收到写数据请求时将接收到的流数据按照冷数据和热数据在存储器中分别进行存储，并在接收到读数据请求时，按预设的流程读取存储器中存储的数据到客户端；冷数据和热数据通过预设时间内对存储器中存储的数据的读写频率统计得到。
-
公开(公告)号：CN115509721A
公开(公告)日：2022-12-23
申请号：CN202211330158.6
申请日：2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/48
Abstract: 本发明涉及一种数据处理任务协同控制调度方法及系统，属于数据处理技术领域；解决现有技术中的数据处理任务调度方法无法实现流数据处理任务与批数据处理任务的混合编排，无法满足用户选择流数据或批数据处理任务类型时无感操作的要求；本发明的方法包括以下步骤：获取当前节点的数据处理任务；根据数据处理任务的任务类型及数据处理进度设置相应的数据状态；并根据数据处理任务的执行状态设置相应的任务状态；获取当前节点的一个或多个下游任务，基于下游任务的任务类型，适配下游任务所需的数据结构；基于当前节点的任务状态、数据状态以及当前节点下游任务的任务类型，判断是否开始运行下游任务，以进行数据处理任务的协同控制调度。
-
公开(公告)号：CN119599489A
公开(公告)日：2025-03-11
申请号：CN202411588010.1
申请日：2024-11-08
Applicant: 中国兵器工业计算机应用技术研究所
Inventor： 王嘉岩 , 葛晋鹏 , 彭龙 , 杜宏博 , 鲁东民 , 李皓 , 李晓政 , 魏中锐 , 纪沈江 , 王强 , 张敏 , 徐天敕 , 邬书豪 , 吕鹏辉 , 张雪峰 , 黄昊 , 杨昊伟 , 饶雷
IPC: G06Q10/0639 , G06Q10/0631 , G06F18/25 , G06N5/04
Abstract: 本发明涉及一种基于自适应博弈算法的车辆集群数据融合和资源分配方法，属于车辆资源技术领域，解决了现有车辆集群在作业中面对动态多变的作业环境以及车辆表现波动时无法做到精准的任务和资源分配的问题。包括：获取车辆集群中各车辆在执行任务过程中产生的若干任务周期的多维度任务数据，得到车辆集群中各车辆的任务表现数据集；对各车辆在当前任务周期的任务表现数据集进行数据融合，得到各车辆的任务表现评分；基于各车辆任务表现评分，对各车辆在当前任务周期的任务执行能力进行评估，动态分配各车辆的任务和资源；以预设任务周期数作为观测窗口，基于各车辆在观测窗口期内的各任务周期的任务表现评分的波动值，渐进式调整各车辆分配的资源。
-
公开(公告)号：CN118551365A
公开(公告)日：2024-08-27
申请号：CN202410507726.8
申请日：2024-04-25
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种面向联合推演仿真下的模型安全控制方法，包括：环境准备；为面向联合推演仿真模型安全运行提供包括计算、存储和网络在内的基础环境；部署及运行授权工具；进行所述模型的基本文件、运行环境和运行时间限制；部署及运行基本认证工具；进行所述模型基本认证；部署及运行数据沙箱；在构建联合推演仿真过程环境中，运行数据沙箱进行模型的推演仿真；部署及运行数据可信溯源工具；将联合推演环境关键操作、模型运行过程及运行结果上链，进行联合推演仿真操作可信溯源。本发明防止了联合推演仿真下核心资产的泄露，实现了联合推演仿真的安全可控。
-
Patent Agency Ranking
公开(公告)号：CN117950764A
公开(公告)日：2024-04-30
申请号：CN202410139718.2
申请日：2024-01-31
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种基于中间数据的任务断点重跑方法及系统，属于批流一体数据处理领域。本发明方法包括：基于数据处理任务确定相应的DAG图，DAG图用于表示执行所述任务的各任务算子的执行顺序和执行方向；基于DAG图执行数据处理任务，执行时记录输入数据在相应数据源中的偏移位置、各任务算子的执行结果标志，当所述执行结果标志为成功时，记录该任务算子形成的中间数据；其中，所述输入数据为从相应数据源中持续读取的批数据或流数据；在所述任务执行失败时，基于所述执行结果标志以及所述偏移位置或中间数据执行任务断点重跑。本发明方法可以避免失败的批流一体数据处理任务在重跑过程中出现的数据丢失、数据重复等问题，并提升任务重跑效率。
-
公开(公告)号：CN117828166A
公开(公告)日：2024-04-05
申请号：CN202311844404.4
申请日：2023-12-28
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F16/9532 , G06F16/332 , G06F16/31 , G06F16/182 , G06F9/50
Abstract: 本发明涉及基于统一搜索及大数据处理的分布式计算引擎，包括：统一接口模块、分布式执行模块和存储管理模块；统一接口模块用于接收计算任务，并进行任务解析，以根据任务解析得到的任务类型启动对应的计算引擎；分布式执行模块包括搜索计算引擎、图计算引擎和流计算引擎，分别用于读取并执行对应的计算任务；存储管理模块用于对搜索计算引擎、流计算引擎和图计算引擎对应的数据进行统一的数据表及存储管理。本发明解决了现有技术中的数据计算引擎在面对多种复杂的计算场景时，无法针对多类型的数据处理任务提供并行高效的实时计算，以进行实时快速响应的问题。
-
公开(公告)号：CN115562676B
公开(公告)日：2023-06-06
申请号：CN202211240180.1
申请日：2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor： 孟英谦 , 杜宏博 , 彭龙 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
Abstract: 本发明提供了一种图计算引擎的触发方法，属于图计算技术领域，解决了现有图计算引擎的编译过程执行效率较差的问题。触发方法包括：接收OpenCypher操作指令；启动Cypher编译器，对OpenCypher操作指令进行语法及语义解译，将解译后的OpenCypher操作命令编译为分布式逻辑执行计划，并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划；向GraphMaster进行注册并申请资源；GraphMaster根据物理执行计划获取待执行任务，将待执行任务分解成多个一级任务，并将各一级任务分配给不同的GraphSlave；GraphSlave将接收到的一级任务分解成多个二级任务，并将各二级任务分配给不同的Worker，由Worker执行相应二级任务；所有待执行任务完成后，向GraphMaster申请资源注销，等待接收下一次OpenCypher操作指令。
-
公开(公告)号：CN115509721B
公开(公告)日：2023-05-16
申请号：CN202211330158.6
申请日：2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/48
Abstract: 本发明涉及一种数据处理任务协同控制调度方法及系统，属于数据处理技术领域；解决现有技术中的数据处理任务调度方法无法实现流数据处理任务与批数据处理任务的混合编排，无法满足用户选择流数据或批数据处理任务类型时无感操作的要求；本发明的方法包括以下步骤：获取当前节点的数据处理任务；根据数据处理任务的任务类型及数据处理进度设置相应的数据状态；并根据数据处理任务的执行状态设置相应的任务状态；获取当前节点的一个或多个下游任务，基于下游任务的任务类型，适配下游任务所需的数据结构；基于当前节点的任务状态、数据状态以及当前节点下游任务的任务类型，判断是否开始运行下游任务，以进行数据处理任务的协同控制调度。
-
公开(公告)号：CN115562676A
公开(公告)日：2023-01-03
申请号：CN202211240180.1
申请日：2022-10-11
Applicant: 中国兵器工业计算机应用技术研究所
Inventor： 孟英谦 , 杜宏博 , 彭龙 , 李胜昌 , 梁冬 , 鲁东民 , 葛晋鹏 , 郭亚辉 , 米丽媛 , 饶雷 , 张帅 , 邵鹏志 , 王乃正 , 薛行 , 徐天敕 , 王嘉岩 , 随秋林
Abstract: 本发明提供了一种图计算引擎的触发方法，属于图计算技术领域，解决了现有图计算引擎的编译过程执行效率较差的问题。触发方法包括：接收OpenCypher操作指令；启动Cypher编译器，对OpenCypher操作指令进行语法及语义解译，将解译后的OpenCypher操作命令编译为分布式逻辑执行计划，并根据分布式逻辑执行计划生成在分布式环境下执行的物理执行计划；向GraphMaster进行注册并申请资源；GraphMaster根据物理执行计划获取待执行任务，将待执行任务分解成多个一级任务，并将各一级任务分配给不同的GraphSlave；GraphSlave将接收到的一级任务分解成多个二级任务，并将各二级任务分配给不同的Worker，由Worker执行相应二级任务；所有待执行任务完成后，向GraphMaster申请资源注销，等待接收下一次OpenCypher操作指令。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.032 seconds)
