-
公开(公告)号：CN113505882A
公开(公告)日：2021-10-15
申请号：CN202110531392.4
申请日：2021-05-14
Applicant: 深圳市腾讯计算机系统有限公司 , 北京大学
Abstract: 本申请公开一种基于联邦神经网络模型的数据处理方法、相关设备及介质；联邦神经网络模型中的交互层网络的模型权重被划分成：由第一参与方持有的第一权重，由第二参与方持有的第二权重；第一参与方还持有：第二权重的权重密文。方法包括：接收第一参与方发送的特征密文，特征密文是对采用第一权重对第一数据特征进行加权得到的第一加权特征，和采用权重密文对第一数据特征进行加权得到的第二加权特征进行整合得到的；对特征密文进行解密，得到目标数据特征；融合目标数据特征以及第二数据特征，得到融合数据特征；对融合数据特征进行前向计算，得到目标数据标识所对应的目标处理结果。可减少通信交互的次数，节省通信资源，提升数据处理效率。
-
公开(公告)号：CN110992432B
公开(公告)日：2021-07-09
申请号：CN201911029711.0
申请日：2019-10-28
Applicant: 北京大学
Abstract: 本发明公布了一种基于深度神经网络最小方差梯度量化压缩及图像处理方法，针对包含类别标签的有监督数据，采用深度神经网络中对梯度进行非均匀量化的网络压缩，使用韦伯分布族建模梯度分布，再通过搜索最优量化点求解量化方差最小化，使得量化误差最小，提高深度神经网络模型的收敛速度；该神经网络压缩方法用于图像分类处理，可提高图像处理效率。
-
公开(公告)号：CN113505882B
公开(公告)日：2023-11-28
申请号：CN202110531392.4
申请日：2021-05-14
Applicant: 深圳市腾讯计算机系统有限公司 , 北京大学
Abstract: 本申请公开一种基于联邦神经网络模型的数据处理方法、相关设备及介质；联邦神经网络模型中的交互层网络的模型权重被划分成：由第一参与方持有的第一权重，由第二参与方持有的第二权重；第一参与方还持有：第二权重的权重密文。方法包括：接收第一参与方发送的特征密文，特征密文是对采用第一权重对第一数据特征进行加权得到的第一加权特征，和采用权重密文对第一数据特征进行加权得到的第二加权特征进行整合得到的；对特征密文进行解密，得到目标数据特征；融合目标数据特征以及第二数据特征，得到融合数据特征；对融合数据特征进行前向计算，得到目标数据标识所对应的目标处理结果。可减少通信交互的次数，节省通信资源，提升数据处理效率。
-
公开(公告)号：CN113542228B
公开(公告)日：2022-08-12
申请号：CN202110680161.X
申请日：2021-06-18
Applicant: 腾讯科技(深圳)有限公司 , 北京大学
Abstract: 本申请公开了一种基于联邦学习的数据传输方法、装置以及可读存储介质，该方法包括：第一参与节点获取第一密文，根据属于第一参与节点的业务数据对第一密文进行隐私运算，生成第二密文；第一密文是指第二参与节点对初始明文进行加密处理所得的数据；对第二密文进行数值界限预估，得到第二密文对应的明文预估界限值；明文预估界限值用于表征第二密文对应的明文的数值范围；基于明文预估界限值，对第二密文进行加法偏移处理，得到第三密文；根据明文预估界限值和第三密文，生成具有多项式格式的目标压缩密文，发送目标压缩密文至第二参与节点。采用本申请，可以有效降低联邦学习任务中的通信开销，提高联邦学习任务运行的效率。
-
公开(公告)号：CN114462626A
公开(公告)日：2022-05-10
申请号：CN202210363190.8
申请日：2022-04-08
Applicant: 北京大学
Abstract: 本发明公开了一种联邦模型训练方法、装置、终端设备以及存储介质，通过第一参与方基于第一明文模型权重随机数、第二明文模型随机数密文进行同态性质计算，生成第一模型权重密文，并基于第一模型权重密文与第一训练数据生成并发送第一参与方预测输出密文至第二参与方；第二参与方根据第一参与方预测输出与第二参与方预测输出得到联合预测输出并得到预测值；第二参与方基于预测值生成联合预测输出梯度，并加密得到联合预测输出梯度密文发送至第一参与方，并根据联合预测输出梯度更新第二明文模型权重；第一参与方根据联合预测输出梯度密文得到第一模型梯度密文，并根据第一模型梯度密文更新第一模型权重密文。本发明提升了联邦模型训练的安全性。
-
Patent Agency Ranking
公开(公告)号：CN110992432A
公开(公告)日：2020-04-10
申请号：CN201911029711.0
申请日：2019-10-28
Applicant: 北京大学
Abstract: 本发明公布了一种基于深度神经网络最小方差梯度量化压缩及图像处理方法，针对包含类别标签的有监督数据，采用深度神经网络中对梯度进行非均匀量化的网络压缩，使用韦伯分布族建模梯度分布，再通过搜索最优量化点求解量化方差最小化，使得量化误差最小，提高深度神经网络模型的收敛速度；该神经网络压缩方法用于图像分类处理，可提高图像处理效率。
-
公开(公告)号：CN117932330A
公开(公告)日：2024-04-26
申请号：CN202311700419.3
申请日：2023-12-12
Applicant: 北京大学
IPC: G06F18/214 , G06F18/2321 , G06N3/04 , G06N3/084
Abstract: 本发明涉及一种基于局部敏感哈希算法的混合专家模型加速方法和系统。该方法在混合专家模型的训练过程和/或推理过程中，采用局部敏感哈希算法对数据进行聚类，得到聚类中心，利用聚类中心进行All‑To‑All通信和专家计算，以降低通信量和计算量。本发明提出的技术方案的加速效果优于传统的优化手段，例如层次化通信和计算通信重叠技术，这些现有技术采用系统优化的手段，在低带宽集群中加速效果不明显。本发明的技术方案利用了数据的相似性，从算法优化的方面降低了通信量，从而降低了通信时间。本发明提出的技术方案可以支持任意形式的混合专家模型。
-
公开(公告)号：CN114462626B
公开(公告)日：2022-07-19
申请号：CN202210363190.8
申请日：2022-04-08
Applicant: 北京大学
Abstract: 本发明公开了一种联邦模型训练方法、装置、终端设备以及存储介质，通过第一参与方基于第一明文模型权重随机数、第二明文模型随机数密文进行同态性质计算，生成第一模型权重密文，并基于第一模型权重密文与第一训练数据生成并发送第一参与方预测输出密文至第二参与方；第二参与方根据第一参与方预测输出与第二参与方预测输出得到联合预测输出并得到预测值；第二参与方基于预测值生成联合预测输出梯度，并加密得到联合预测输出梯度密文发送至第一参与方，并根据联合预测输出梯度更新第二明文模型权重；第一参与方根据联合预测输出梯度密文得到第一模型梯度密文，并根据第一模型梯度密文更新第一模型权重密文。本发明提升了联邦模型训练的安全性。
-
公开(公告)号：CN113542228A
公开(公告)日：2021-10-22
申请号：CN202110680161.X
申请日：2021-06-18
Applicant: 腾讯科技(深圳)有限公司 , 北京大学
IPC: H04L29/06 , G06F21/60 , G06F21/62 , G06F16/906 , G06N20/00
Abstract: 本申请公开了一种基于联邦学习的数据传输方法、装置以及可读存储介质，该方法包括：第一参与节点获取第一密文，根据属于第一参与节点的业务数据对第一密文进行隐私运算，生成第二密文；第一密文是指第二参与节点对初始明文进行加密处理所得的数据；对第二密文进行数值界限预估，得到第二密文对应的明文预估界限值；明文预估界限值用于表征第二密文对应的明文的数值范围；基于明文预估界限值，对第二密文进行加法偏移处理，得到第三密文；根据明文预估界限值和第三密文，生成具有多项式格式的目标压缩密文，发送目标压缩密文至第二参与节点。采用本申请，可以有效降低联邦学习任务中的通信开销，提高联邦学习任务运行的效率。
-
公开(公告)号：CN119886324A
公开(公告)日：2025-04-25
申请号：CN202411752047.3
申请日：2024-12-02
Applicant: 北京大学
IPC: G06N5/04 , G06N3/0455 , G06N3/084
Abstract: 本发明公开一种面向异构序列负载的灵活大模型训练方法及系统，属于大模型技术领域。所述方法包括：将一个训练数据批次划分为若干微批次；其中，一个训练数据批次由若干个序列组成；对于每一微批次，通过最小化该微批次的最大执行时间，将该微批次中的序列分配到不同SP组，以生成最优序列并行策略；基于该最优序列并行策略，在大模型上执行该微批次的训练，并将反向传播得到的梯度进行累加，以更新大模型参数。本发明可以根据实际训练时实时的工作负载的序列长度情况，求解最优的序列并行方案，减少高的序列并行度带来的低效的跨节点通信，提高大模型在长序列场景下训练的效率。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.022 seconds)
