-
公开(公告)号：CN117932330A
公开(公告)日：2024-04-26
申请号：CN202311700419.3
申请日：2023-12-12
Applicant: 北京大学
IPC: G06F18/214 , G06F18/2321 , G06N3/04 , G06N3/084
Abstract: 本发明涉及一种基于局部敏感哈希算法的混合专家模型加速方法和系统。该方法在混合专家模型的训练过程和/或推理过程中，采用局部敏感哈希算法对数据进行聚类，得到聚类中心，利用聚类中心进行All‑To‑All通信和专家计算，以降低通信量和计算量。本发明提出的技术方案的加速效果优于传统的优化手段，例如层次化通信和计算通信重叠技术，这些现有技术采用系统优化的手段，在低带宽集群中加速效果不明显。本发明的技术方案利用了数据的相似性，从算法优化的方面降低了通信量，从而降低了通信时间。本发明提出的技术方案可以支持任意形式的混合专家模型。
Search Results
1
records
(took 0.011 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
