-
公开(公告)号:CN118860657A
公开(公告)日:2024-10-29
申请号:CN202411039357.0
申请日:2024-07-31
Applicant: 中国移动通信集团浙江有限公司 , 中国移动通信集团有限公司 , 中国移动(浙江)创新研究院有限公司 , 浙江移动信息系统集成有限公司
IPC: G06F9/50 , G06F9/48 , G06F18/2321
Abstract: 本申请涉及计算机领域,提供一种任务分解方法、装置、设备、介质及产品。其中方法包括:获取待分解任务的各个任务元;基于各个任务元的自身属性和各个任务元之间的相关性确定各个任务元之间的初始截断距离;基于最小化基尼指数的自适应截断距离选择机制对初始截断距离进行优化,得到优化结果;基于优化结果将待分解任务拆解为各个子任务。本申请通过将各个任务元的自身属性和各个任务元之间的相关性转变成任务元间的距离关系,通过最小化基尼指数将密度峰值聚类算法进行改进,可以将待分解任务拆分为合适粒度的子任务,提高了任务分解效率和分解准确度,提高了任务处理效率。
-
公开(公告)号:CN118797332A
公开(公告)日:2024-10-18
申请号:CN202311697447.4
申请日:2023-12-11
Applicant: 中国移动通信集团浙江有限公司 , 中国移动(浙江)创新研究院有限公司 , 中国移动通信集团有限公司
IPC: G06F18/214 , G06F9/48 , G06F9/50
Abstract: 本发明提供模型分布式并行加速训练策略生成方法、装置及电子设备,其中方法包括:获取并行环境信息和用户配置文件,基于所述用户配置文件确定超参搜索空间,基于并行环境信息和超参搜索空间确定至少一个加速训练超参集,每个加速训练超参集中包括张量并行维度、流水线并行维度、梯度累积次数、微批数据大小以及处理数据并行维度中的至少一种;基于加速训练超参集确定候选加速训练策略;基于候选加速训练策略进行分布式并行加速训练测试,得到各个候选加速训练策略的训练效率评估结果;基于各个候选加速训练策略的训练效率评估结果确定目标加速训练策略。本发明可以实现提高并行加速训练效率的效果。
-