-
公开(公告)号：CN117932330A
公开(公告)日：2024-04-26
申请号：CN202311700419.3
申请日：2023-12-12
Applicant: 北京大学
IPC: G06F18/214 , G06F18/2321 , G06N3/04 , G06N3/084
Abstract: 本发明涉及一种基于局部敏感哈希算法的混合专家模型加速方法和系统。该方法在混合专家模型的训练过程和/或推理过程中，采用局部敏感哈希算法对数据进行聚类，得到聚类中心，利用聚类中心进行All‑To‑All通信和专家计算，以降低通信量和计算量。本发明提出的技术方案的加速效果优于传统的优化手段，例如层次化通信和计算通信重叠技术，这些现有技术采用系统优化的手段，在低带宽集群中加速效果不明显。本发明的技术方案利用了数据的相似性，从算法优化的方面降低了通信量，从而降低了通信时间。本发明提出的技术方案可以支持任意形式的混合专家模型。
-
公开(公告)号：CN116128019A
公开(公告)日：2023-05-16
申请号：CN202211441633.7
申请日：2022-11-17
Applicant: 北京大学
IPC: G06N3/0455 , G06N3/08
Abstract: 本发明提供一种Transformer模型的并行训练方法及装置，涉及计算机技术领域；其中所述Transformer模型的并行训练方法包括：基于M种预设并行训练策略，确定初始Transformer模型的并行训练策略搜索空间；基于各预设并行训练策略，构建至少一棵决策树；决策树用于从并行训练策略搜索空间中确定初始Transformer模型的并行训练策略集合；基于训练策略集合，确定目标并行训练策略组合；利用目标并行训练策略组合对初始Transformer模型进行训练，得到目标Transformer模型。利用吞吐率最高的目标并行训练策略组合对初始Transformer模型进行训练，提高了对模型的训练效率。
-
公开(公告)号：CN110992432B
公开(公告)日：2021-07-09
申请号：CN201911029711.0
申请日：2019-10-28
Applicant: 北京大学
Abstract: 本发明公布了一种基于深度神经网络最小方差梯度量化压缩及图像处理方法，针对包含类别标签的有监督数据，采用深度神经网络中对梯度进行非均匀量化的网络压缩，使用韦伯分布族建模梯度分布，再通过搜索最优量化点求解量化方差最小化，使得量化误差最小，提高深度神经网络模型的收敛速度；该神经网络压缩方法用于图像分类处理，可提高图像处理效率。
-
公开(公告)号：CN110992432A
公开(公告)日：2020-04-10
申请号：CN201911029711.0
申请日：2019-10-28
Applicant: 北京大学
Abstract: 本发明公布了一种基于深度神经网络最小方差梯度量化压缩及图像处理方法，针对包含类别标签的有监督数据，采用深度神经网络中对梯度进行非均匀量化的网络压缩，使用韦伯分布族建模梯度分布，再通过搜索最优量化点求解量化方差最小化，使得量化误差最小，提高深度神经网络模型的收敛速度；该神经网络压缩方法用于图像分类处理，可提高图像处理效率。
-
-
-
Search Results
4
records
(took 0.014 seconds)
