本申请揭示了基于联邦学习的模型训练方法及装置、设备、存储介质。联邦神经网络模型包括第一参与方对应的第一底层网络，及第二参与方对应的第二底层网络、交互层网络和顶层网络。该方法包括：在更新第一底层网络的网络参数的过程中，第二参与方计算训练损失值相对于第一底层网络的前向输出信息的第一梯度信息，并将第一梯度信息加密后发送至第一参与方；第一参与方根据接收到的加密梯度信息，计算第一底层网络对应的网络参数梯度的密文数据，并将密文数据返回至第二参与方；第二参与方对密文数据进行解密，并将解密得到的明文数据发送至第一参与方，以使第一参与方基于明文数据更新第一底层网络的网络参数。本申请能够保证模型训练的准确度。