-
公开(公告)号：CN115599524A
公开(公告)日：2023-01-13
申请号：CN202211329376.8
申请日：2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所(CN)
IPC: G06F9/48
Abstract: 本发明涉及一种基于流数据和批数据协同调度处理的数据湖系统，属于数据处理技术领域；解决现有技术在构建数据湖或对数据湖中的数据进行处理时无法实现流数据与批数据处理任务的混合编排，效率低的问题；本发明的数据湖系统包括：集中式存储模块、计算引擎模块和数据管理模块；其中，集中式存储模块用于分类存储各个业务数据源的数据；数据管理模块用于进行数据处理任务编排，并基于预设的数据处理任务协同调度方法，对每个节点的数据处理任务进行调度处理；计算引擎模块用于基于数据处理任务需求，通过不同的计算引擎对集中式存储模块中的数据进行处理，并将处理后的数据基于数据处理任务的需求进行推送或存入集中式存储模块中。
-
公开(公告)号：CN118075133A
公开(公告)日：2024-05-24
申请号：CN202410176471.1
申请日：2024-02-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: H04L41/0896 , G06F9/455 , H04L41/0894 , H04L41/0816 , H04L41/147
Abstract: 本发明涉及一种基于Kubernetes改进的扩缩容系统，属于云平台的应用部署技术领域。本发明系统包括在云平台上部署Kubernetes和自主实现的应用管理组件、扩缩容计划调度组件、扩缩容脚本执行组件和扩容调整组件，通过各组件与Kubernetes实现扩缩容，改进原Kubernetes只能基于系统各指标阈值进行扩缩容的机制，实现基于历史数据分析预测当天的负载高峰时段以对负载高峰时段提前进行计划扩容，解决Kubernetes的弹性扩缩容机制需要在监测到负载超过一定阈值时才发起扩缩容导致的扩容滞后性，同时可以避免在负载波动大的情况下频繁扩缩容造成的资源损耗和应用的不稳定；本发明系统还实现在负载高峰时段基于业务指标值对应用的资源进行实时扩缩容，解决了原Kubernetes的弹性扩缩容机制与业务脱节的问题。
-
Patent Agency Ranking
公开(公告)号：CN118069291A
公开(公告)日：2024-05-24
申请号：CN202410176473.0
申请日：2024-02-08
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/455 , H04L67/1001 , G06F9/50
Abstract: 本发明涉及一种基于业务和结果导向的弹性扩缩容方法，属于云计算技术领域。本发明方法包括：基于历史扩容数据预测当天负载高峰时段，基于各负载高峰时段对应的历史扩容数据和当天的任务信息确定各负载高峰时段的计划扩容执行时间和计划扩容策略；在各计划扩容策略执行的过程中，基于实时监控的业务指标值和系统性能指标值调整各计划扩容策略，并将调整后扩容策略记录至所述负载高峰时段对应的扩容数据中；其他时段，基于实时监控的业务指标值和系统性能指标值执行实时扩容和缩容并记录至相应时段对应的扩容数据中。本发明方法可以解决现有技术中扩缩容不能满足业务预期效果、扩缩容滞后以及当负载波动大时造成的性能损耗和不稳定问题。
-
公开(公告)号：CN117950764A
公开(公告)日：2024-04-30
申请号：CN202410139718.2
申请日：2024-01-31
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种基于中间数据的任务断点重跑方法及系统，属于批流一体数据处理领域。本发明方法包括：基于数据处理任务确定相应的DAG图，DAG图用于表示执行所述任务的各任务算子的执行顺序和执行方向；基于DAG图执行数据处理任务，执行时记录输入数据在相应数据源中的偏移位置、各任务算子的执行结果标志，当所述执行结果标志为成功时，记录该任务算子形成的中间数据；其中，所述输入数据为从相应数据源中持续读取的批数据或流数据；在所述任务执行失败时，基于所述执行结果标志以及所述偏移位置或中间数据执行任务断点重跑。本发明方法可以避免失败的批流一体数据处理任务在重跑过程中出现的数据丢失、数据重复等问题，并提升任务重跑效率。
-
公开(公告)号：CN115509721B
公开(公告)日：2023-05-16
申请号：CN202211330158.6
申请日：2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/48
Abstract: 本发明涉及一种数据处理任务协同控制调度方法及系统，属于数据处理技术领域；解决现有技术中的数据处理任务调度方法无法实现流数据处理任务与批数据处理任务的混合编排，无法满足用户选择流数据或批数据处理任务类型时无感操作的要求；本发明的方法包括以下步骤：获取当前节点的数据处理任务；根据数据处理任务的任务类型及数据处理进度设置相应的数据状态；并根据数据处理任务的执行状态设置相应的任务状态；获取当前节点的一个或多个下游任务，基于下游任务的任务类型，适配下游任务所需的数据结构；基于当前节点的任务状态、数据状态以及当前节点下游任务的任务类型，判断是否开始运行下游任务，以进行数据处理任务的协同控制调度。
-
公开(公告)号：CN117950764B
公开(公告)日：2024-09-17
申请号：CN202410139718.2
申请日：2024-01-31
Applicant: 中国兵器工业计算机应用技术研究所
Abstract: 本发明涉及一种基于中间数据的任务断点重跑方法及系统，属于批流一体数据处理领域。本发明方法包括：基于数据处理任务确定相应的DAG图，DAG图用于表示执行所述任务的各任务算子的执行顺序和执行方向；基于DAG图执行数据处理任务，执行时记录输入数据在相应数据源中的偏移位置、各任务算子的执行结果标志，当所述执行结果标志为成功时，记录该任务算子形成的中间数据；其中，所述输入数据为从相应数据源中持续读取的批数据或流数据；在所述任务执行失败时，基于所述执行结果标志以及所述偏移位置或中间数据执行任务断点重跑。本发明方法可以避免失败的批流一体数据处理任务在重跑过程中出现的数据丢失、数据重复等问题，并提升任务重跑效率。
-
公开(公告)号：CN115509721A
公开(公告)日：2022-12-23
申请号：CN202211330158.6
申请日：2022-10-27
Applicant: 中国兵器工业计算机应用技术研究所
IPC: G06F9/48
Abstract: 本发明涉及一种数据处理任务协同控制调度方法及系统，属于数据处理技术领域；解决现有技术中的数据处理任务调度方法无法实现流数据处理任务与批数据处理任务的混合编排，无法满足用户选择流数据或批数据处理任务类型时无感操作的要求；本发明的方法包括以下步骤：获取当前节点的数据处理任务；根据数据处理任务的任务类型及数据处理进度设置相应的数据状态；并根据数据处理任务的执行状态设置相应的任务状态；获取当前节点的一个或多个下游任务，基于下游任务的任务类型，适配下游任务所需的数据结构；基于当前节点的任务状态、数据状态以及当前节点下游任务的任务类型，判断是否开始运行下游任务，以进行数据处理任务的协同控制调度。
-
-
-
-
-
-
Search Results
17
records
(took 0.042 seconds)
