公开(公告)号：CN116341652A

公开(公告)日：2023-06-27

申请号：CN202310133976.5

申请日：2023-02-08

Applicant: 鹏城实验室

Inventor： 侯永帅 ,  相洋 ,  莫羡杰 ,  杨卿 ,  王晖 ,  余跃

IPC: G06N3/098 ,  G06N3/045 ,  G06N3/084 ,  G06F9/50

Abstract: 本发明针对使用跨地域算力中心算力进行深度模型训练的场景需求，设计了一种面向云际环境的深度模型训练方法，采用按照网络层次拆分模型参数到不同算力中心、跨域算力节点间采用压缩通信、算力中心内和算力中心间采用混合并行等策略，实现利用跨域算力协同完成深度模型训练。本发明可以使大模型训练不再受单算力中心算力资源的限制，能够高效利用跨域算力中心的算力，在低带宽环境下利用跨域算力协同完成大规模模型的训练任务。

公开(公告)号：CN116489678A

公开(公告)日：2023-07-25

申请号：CN202310389923.X

申请日：2023-04-04

Applicant: 鹏城实验室

Inventor： 杨卿 ,  相洋 ,  侯永帅 ,  余跃 ,  王晖

IPC: H04W24/02 ,  G06F17/16 ,  G06N3/08

Abstract: 本申请实施例提供了一种深度学习模型的通信优化方法及装置、存储介质，方法包括：对深度学习模型进行切分，得到位于第一通信节点下的第一子模型和位于第二通信节点下的第二子模型；在第一通信节点下，根据稀疏化比例参数和第一子模型传输的前向数据，计算前向数据的稀疏化阈值，并且根据稀疏化阈值和稀疏化比例参数对前向数据进行压缩，得到中间数据；在第二通信节点下，根据量化参数对中间数据进行解压缩，得到后向数据；向第二子模型传输后向数据以进行训练。本申请实施例中，两个子模型所处的两个通信节点之间采用低带宽网络连接，整个通信过程的负载消耗能够得到限制，从而能够在保持深度学习模型的训练精度的前提下，有效地降低通信负载。