-
公开(公告)号：CN119690274A
公开(公告)日：2025-03-25
申请号：CN202411743889.2
申请日：2024-11-30
Applicant: 哈尔滨工业大学
Abstract: 一种基于云边端跨域数据的专家网络自动混合分布式算法，属于大模型分布式训练领域。本发明在大模型分布式训练领域引入了一种创新的方法，用OSDP分布式训练MOE模型，用于优化不同专家在GPU集群中的分布，确保更高的并行计算效率。这种组合动机是为了在不牺牲模型性能的情况下，提升训练效率。通过混合并行加速训练和节约硬件资源，降低大规模模型的训练成本，使得训练超大规模的深度学习模型变得更加经济可行。并且通过引入基于专家网络的自动混合分布式算法，实现了云、边、端协同的跨域异构数据融合，能满足工业智能领域在多基地、多数据源环境下的复杂需求。
Search Results
1
records
(took 0.024 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
