-
公开(公告)号:CN117873679A
公开(公告)日:2024-04-12
申请号:CN202410032938.5
申请日:2024-01-09
Applicant: 之江实验室
Abstract: 本申请涉及一种任务调度方法、装置、计算机设备和存储介质。所述装置包括:节点信息模块,用于采集并储存集群节点的历史节点信息以及历史任务信息;资源预测模块,用于根据历史节点信息和历史任务信息,计算得到针对集群节点的资源状态预测信息;调度器,用于接收当前待部署任务,并根据资源状态预测信息,确定集群节点中的至少一个当前部署节点,以及当前待部署任务中与当前部署节点对应的子任务;任务下发模块,连接所述调度器,用于向当前部署节点发送对应的子任务。采用本装置,通过所述资源预测模块,预测进行任务调度时的集群节点状态,保证时效性,避免因状态滞后导致调度未达到理想状况。
-
公开(公告)号:CN117349134A
公开(公告)日:2024-01-05
申请号:CN202311278119.0
申请日:2023-09-28
Applicant: 之江实验室
Abstract: 本发明公开了一种基于插桩的自动化性能数据获取和分析方法及装置,所述方法包括以下步骤:通过配置选项选择待插桩的源代码范围,定位待插桩的源代码范围中的原始函数定义处的函数名,进行更名操作;生成包括性能数据获取块一、更名后的函数调用块、性能数据获取块二的插桩器;为每个更名后的函数生成一个与原始函数同名、具有相同参数列表和返回类型的函数,并在函数中插入插桩器以存储原始函数的性能数据;获取原始函数的性能数据进行分析,并生成结果报告。上述方案在保证插桩结果正确性的前提下,简化了性能数据获取的插桩过程和工作量。
-
公开(公告)号:CN120011112A
公开(公告)日:2025-05-16
申请号:CN202510488492.1
申请日:2025-04-18
Applicant: 之江实验室
Abstract: 本说明书公开了一种跨集群数据处理方法及装置。所述方法包括:将各计算节点所存储的第一结果数据拆分为多个数据切片;按照每个数据切片在第一结果数据中的先后顺序,依次将各数据切片从各计算节点发送给第一计算集群的主机内存,以使主机内存对已接收的数据切片和第二计算集群的主机内存中存储的数据切片进行规约计算,得到已接收的数据切片对应的第二结果数据;控制主机内存在接收后续的数据切片的同时,将第二结果数据从第一计算集群的主机内存发送给每个已接收的数据切片对应的计算节点;在各计算节点接收到全部数据切片对应的第二结果数据后,得到目标计算结果。本方案提高了跨集群通信效率,进一步提高了跨集群数据处理效率。
-
-