-
公开(公告)号：CN118590456B
公开(公告)日：2025-04-29
申请号：CN202410632807.0
申请日：2024-05-21
Applicant: 中国地质大学(北京)
Abstract: 本发明提供一种数据流模式感知的流应用节点调度方法，涉及分布式流计算技术领域。所述一种数据流模式感知的流应用节点调度方法由指标监控节点、预测节点、初始调度节点以及自适应度节点实现；指标监控节点收集拓扑的指标数据；根据拓扑的指标数据对LSTM神经网络模型进行训练，获得系统拓扑的总延迟和算子负载；将数据处理任务上传到分布式流计算系统，采用启发式装箱算法，进行初始调度，确定拓扑算子放置方案；采用贪心算法以及马尔可夫迭代过程，对深度强化学习模型进行训练，生成新的调度方案。采用本发明，提高分布式流计算系统的吞吐量，降低延迟以及提高负载的稳定性。
-
公开(公告)号：CN118567842B
公开(公告)日：2024-12-27
申请号：CN202410640831.9
申请日：2024-05-22
Applicant: 中国地质大学(北京)
Abstract: 本发明涉及分布式流计算技术领域，特别是指一种基于DQN算法的流系统资源优化调度方法及装置。方法包括：基于流处理模型，将应用拓扑建模为有向无环图，基于有向无环图的起始点，从外部环境中接收原始数据流，将数据流传递给下游的数据处理组件进行处理和分析；建立流应用模型，包括系统的任务完成时间和资源消耗；建立资源模型，并基于资源模型设计资源约束，进而建立环境模型，把调度过程形成一个模型数据的变化；基于改进的强化学习模型DQN优化流处理系统中的资源分配和任务调度；基于梯度策略算法更新资源分配策略。采用本发明，可以优化调度策略和优化奖励函数，进一步降低系统的资源消耗。
-
公开(公告)号：CN116361060B
公开(公告)日：2023-09-15
申请号：CN202310598274.4
申请日：2023-05-25
Applicant: 中国地质大学(北京)
Abstract: 本发明涉及流计算系统容错技术领域，尤其涉及一种多特征感知的流计算系统容错方法和系统，包括：S1、进行多特征感知，所述多特征感知包括：预测应用程序运行流程中故障率、监控节点上任务的资源占用情况、感知节点上任务的执行时长与任务的处理数据量；S2、根据感知的多特征，使用Mf‑Stream容错策略，动态地调整检查点间隔，得到调整后的每个检查点间隔CIn，所述Mf‑Stream容错策略对应地包括：故障感知容错策略、资源感知容错策略、慢任务感知容错策略；S3、根据调整后的每个检查点间隔CIn，启动第ｎ个检查点。本发明能够降低保存检查点数据的时间、降低系统恢复延迟，降低CPU占用率和内存占用率，降低任务执行时间。
-
公开(公告)号：CN116319381B
公开(公告)日：2023-07-25
申请号：CN202310594872.4
申请日：2023-05-25
Applicant: 中国地质大学(北京)
IPC: H04L41/142 , H04L41/147 , H04L41/12 , H04L47/125 , H04L45/00
Abstract: 本发明公开了一种通信和资源感知的数据流分组方法及系统，涉及分布式流计算技术领域。包括：监控模块获取拓扑信息，并将拓扑信息发送至下游任务选择模块；其中，拓扑信息包括数据流分组任务的CPU资源和拓扑中各个任务间的通信距离；下游任务选择模块进行数据流中字段值频率的预测，并根据字段值频率预测结果以及拓扑信息进行数据流分组。本发明能够以较低的字段值拆分程度实现下游有状态运算符实例的负载均衡，并提高拓扑中元组的吞吐量，降低系统延迟。
-
公开(公告)号：CN116361060A
公开(公告)日：2023-06-30
申请号：CN202310598274.4
申请日：2023-05-25
Applicant: 中国地质大学(北京)
Abstract: 本发明涉及流计算系统容错技术领域，尤其涉及一种多特征感知的流计算系统容错方法和系统，包括：S1、进行多特征感知，所述多特征感知包括：预测应用程序运行流程中故障率、监控节点上任务的资源占用情况、感知节点上任务的执行时长与任务的处理数据量；S2、根据感知的多特征，使用Mf‑Stream容错策略，动态地调整检查点间隔，得到调整后的每个检查点间隔CIn，所述Mf‑Stream容错策略对应地包括：故障感知容错策略、资源感知容错策略、慢任务感知容错策略；S3、根据调整后的每个检查点间隔CIn，启动第ｎ个检查点。本发明能够降低保存检查点数据的时间、降低系统恢复延迟，降低CPU占用率和内存占用率，降低任务执行时间。
-
Patent Agency Ranking
公开(公告)号：CN115567453B
公开(公告)日：2023-04-18
申请号：CN202211437122.8
申请日：2022-11-17
Applicant: 中国地质大学(北京)
IPC: H04L47/125 , H04L47/127 , H04L47/26 , H04L41/0893 , H04L41/0894 , H04L41/14 , H04L43/0888
Abstract: 本发明提供了一种数据流内容特征感知的弹性分组方法及系统，涉及分布式流计算技术领域。系统包括预测模块、反馈模块以及流连接计算模块；预测模块，用于对多个键频率分布的任务进行预测，获得预测结果，对预测结果进行调度；反馈模块，用于收集和识别每个worker的负载信息，并对所述每个worker进行弹性缩放；流连接计算模块，用于基于Apache Storm创建流连接应用Ada‑Stream，基于预测模块产生的预测结果以及反馈模块的负载信息进行负载平衡计算，完成数据流内容特征感知的弹性分组。本发明提出的快速、高效的流连接系统，在保证结果完整性的前提下，实现了系统的高吞吐量、低延迟、低内存成本和可扩展性。
-
公开(公告)号：CN115378789B
公开(公告)日：2023-01-10
申请号：CN202211299626.8
申请日：2022-10-24
Applicant: 中国地质大学(北京)
IPC: H04L41/044 , H04L41/0823 , H04L41/0894 , H04L41/12 , H04L41/14 , H04L43/103 , H04L67/61 , H04L67/62
Abstract: 本发明公开了一种多层次协作的流资源管理方法及系统，涉及分布式流计算技术领域。包括：DAG生成模块，用于根据预先设计的数据流应用程序，得到用于表示逻辑执行计划的DAG；自适应分组模块，用于根据动态调整策略，对上游运算符产生的数据流元组进行分组，并传输到下游运算符实例中进行处理；资源感知调度模块，用于将各实例调度到集群的计算节点中进行任务运行；弹性缩放模块，用于实时识别出当前处于瓶颈的运算符，并对运算符的并行度进行自适应调整。本发明设计了一种基于弹性数据流和拓扑感知的分布式流计算系统调度和资源管理框架，达到快速自适应数据输入速率的波动，使得流计算系统Apache Storm可以达到最优性能。
-
公开(公告)号：CN115567453A
公开(公告)日：2023-01-03
申请号：CN202211437122.8
申请日：2022-11-17
Applicant: 中国地质大学(北京)
IPC: H04L47/125 , H04L47/127 , H04L47/26 , H04L41/0893 , H04L41/0894 , H04L41/14 , H04L43/0888
Abstract: 本发明提供了一种数据流内容特征感知的弹性分组方法及系统，涉及分布式流计算技术领域。系统包括预测模块、反馈模块以及流连接计算模块；预测模块，用于对多个键频率分布的任务进行预测，获得预测结果，对预测结果进行调度；反馈模块，用于收集和识别每个worker的负载信息，并对所述每个worker进行弹性缩放；流连接计算模块，用于基于Apache Storm创建流连接应用Ada‑Stream，基于预测模块产生的预测结果以及反馈模块的负载信息进行负载平衡计算，完成数据流内容特征感知的弹性分组。本发明提出的快速、高效的流连接系统，在保证结果完整性的前提下，实现了系统的高吞吐量、低延迟、低内存成本和可扩展性。
-
公开(公告)号：CN114780247B
公开(公告)日：2022-12-13
申请号：CN202210535602.1
申请日：2022-05-17
Applicant: 中国地质大学(北京)
Abstract: 本发明提供一种流速和资源感知的流应用调度方法及系统，方法包括：根据流应用的拓扑结构构建数据流划分模型；根据执行器间的元组传输速率构建任务分配模型；根据计算节点资源的占用情况构建负载均衡模型；根据数据流划分模型，提出基于FFD算法的流速感知方法进行调度，将执行器和计算节点分别按照元组传输速率和负载均衡指数进行排序，在不超过计算节点阈值的情况下，将高度通信的执行器聚集到同一计算节点中；根据任务分配模型与负载均衡模型，基于蚁群优化的资源感知方法进行调度，以最小化任务完成时间和优化资源分配方案为目标，将任务的资源需求与计算节点剩余资源情况加入到信息素和启发式函数中，在分配过程中使任务根据资源需求类型找到相匹配的计算节点。
-
公开(公告)号：CN114816715B
公开(公告)日：2022-11-22
申请号：CN202210548737.1
申请日：2022-05-20
Applicant: 中国地质大学(北京)
Abstract: 本发明涉及计算机通信技术领域，特别是指一种面向跨地域的流计算延迟优化方法及装置，装置包括任务调度模块、延迟约束模块以及集群能耗优化模块；方法包括：为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度；当监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略。采用本发明，可以降低系统延迟，提高利用率，降低系统能耗。
-
-
-
-
-
-
-
-
-
Search Results
31
records
(took 0.028 seconds)
