利用基础模型蒸馏的联邦学习
    1.
    发明公开

    公开(公告)号:CN119692431A

    公开(公告)日:2025-03-25

    申请号:CN202411324981.5

    申请日:2024-09-23

    Abstract: 利用联邦学习训练神经网络的方法和系统。服务器维持的机器学习模型从服务器发送到客户端,从而产生本地机器学习模型。在每个客户端处,利用本地数据训练所述模型,以基于基础模型确定相应交叉熵损失和蒸馏损失。在每个客户端处,基于所述损失更新每个本地机器学习模型的相应权重。将更新的权重传输到服务器,而不传输本地存储的数据;然后将它们聚合并传输回客户端。在每个客户端处,利用聚合的更新的权重更新本地机器学习模型。

    具有模型多样性的联邦学习
    2.
    发明公开

    公开(公告)号:CN119227776A

    公开(公告)日:2024-12-31

    申请号:CN202410856028.9

    申请日:2024-06-28

    Abstract: 具有模型多样性的联邦学习。公开了用于机器学习环境中的联邦学习的方法和系统。将多个服务器维护的机器学习模型的至少部分从服务器发送到多个客户端,从而产生多个本地机器学习模型。在每个客户端处,用本地存储在该相应客户端处的本地存储的数据来训练多个本地机器学习模型。确定多个本地机器学习模型中的每一个的相应损失,并且更新多个本地机器学习模型中的每一个的相应权重。来自每个客户端的相应更新的权重被传送到服务器,而不传送客户端的本地存储的数据。在服务器处,用从每个客户端发送的更新的权重来训练多个服务器维护的机器学习模型。

    利用基础模型蒸馏的联邦学习
    4.
    发明公开

    公开(公告)号:CN119692432A

    公开(公告)日:2025-03-25

    申请号:CN202411325107.3

    申请日:2024-09-23

    Abstract: 利用联邦学习训练神经网络的方法和系统。机器学习模型从服务器发送到客户端,从而产生本地机器学习模型。在每个客户端处,利用本地存储的数据训练该模型,包括确定多个本地机器学习模型中的每一个的相应交叉熵损失。更新每个本地模型的权重,并将该权重传输到服务器而不传输本地存储的数据。传输的权重在服务器处被聚合以获得聚合的服务器维持的机器学习模型。在服务器处,生成基于基础模型的蒸馏损失。更新聚合的服务器维持的机器学习以获得聚合的相应权重,聚合的相应权重被传输到客户端以在本地模型中更新。

    在断开的客户端的情况下利用模型多样性和备份的联邦学习

    公开(公告)号:CN119227777A

    公开(公告)日:2024-12-31

    申请号:CN202410870081.4

    申请日:2024-07-01

    Abstract: 用于利用联邦学习对神经网络进行训练的方法和系统。将服务器维护的机器学习模型从服务器发送到多个客户端,从而产生本地机器学习模型。在每个客户端处,利用在该相应客户端处本地存储的本地存储数据对本地机器学习模型进行训练。针对本地机器学习模型中的每一个,确定相应损失并更新权重。将经更新的权重传递到服务器,以用于更新服务器维护的机器学习模型,以用于训练那些模型。如果客户端之一断开或以其他方式不能够接收服务器维护的模型,则该断开的客户端可以连接到相邻客户端,从而从那些相邻客户端接收模型,并利用断开的客户端自身的本地存储数据对那些模型进行训练。

Patent Agency Ranking