-
公开(公告)号：CN111736999A
公开(公告)日：2020-10-02
申请号：CN202010570373.8
申请日：2020-06-19
Applicant: 复旦大学 , 上海新氦类脑智能科技有限公司
Abstract: 本发明提供了一种降低通信成本的神经网络端云协同训练系统，包括：端侧设备，包括端侧训练模块以及与端侧训练模块通信连接的端侧通信模块；云侧设备，包括与端侧通信模块通信连接的云侧通信模块以及与云侧通信模块通信连接的云侧训练模块，其中，端侧训练模块中包含端侧输入接口、端侧网络层以及端侧输出接口，云侧训练模块中包含云侧输入接口、云侧网络层以及云侧输出接口，端侧训练模块与云侧训模块构成完整的神经网络，神经网络的重量级部分放置在云侧训练模块中，神经网络的轻量级部分放置在端侧训练模块中，端侧通信模块与云侧通信模块中均包含一个编码器和一个解码器。
-
公开(公告)号：CN112884004A
公开(公告)日：2021-06-01
申请号：CN202110080355.6
申请日：2021-01-21
Applicant: 复旦大学
Abstract: 本发明提供了一种神经网络模型知识重合度的度量方法，针对多个可微的端侧模型进行重合度度量，其特征在于，包括如下步骤：步骤S1针对所有端侧模型生成由伪样本构成的伪样本集；步骤S2将伪样本集输入训练好的编码器得到与端侧模型对应的多个高斯分布，计算高斯分布之间的距离，将计算结果作为知识重合度从而令用户掌握多个端侧模型的重合情况。其中，步骤S2包括将伪样本集输入原始编码器得到初始隐变量以及隐变量正态分布，并输入原始解码器得到解码样本；计算解码样本与伪样本之间的重构误差，并反向传播从而训练更新原始编码器得到编码器；将伪样本集输入编码器得到隐变量以及对应的高斯分布；计算高斯分布之间的距离从而得到知识重合度。
-
公开(公告)号：CN111985562B
公开(公告)日：2022-07-26
申请号：CN202010841142.6
申请日：2020-08-20
Applicant: 复旦大学
Abstract: 本发明提供保护端侧隐私的端云协同训练系统，其中，聚合模型存储部存储有至少预先训练得的云侧聚合模型，端侧通信部向云侧设备发送端侧聚合模型，云侧通信部接受端侧聚合模型，云侧自编码部处理云侧图像得伪图像，聚合模型处理部将伪图像分别输入端侧聚合模型和云侧聚合模型处理得到输出端侧聚合模型和输出云侧聚合模型，根据损失处理部处理得多个损失迭代部通过反向传播以及反复迭代来更新模型参数得到云侧训练伪图像生成器以及端云聚合模型。因此根据本发明能够在保护用户隐私的情况下，仍能高效稳定地聚合模型，具有保护用户隐私、聚合效果好、鲁棒性好、泛化能力佳等优点，适用于用户设备之间模型聚合、端云协同训练等实际应用。
-
公开(公告)号：CN111985562A
公开(公告)日：2020-11-24
申请号：CN202010841142.6
申请日：2020-08-20
Applicant: 复旦大学
Abstract: 本发明提供保护端侧隐私的端云协同训练系统，其中，聚合模型存储部存储有至少预先训练得的云侧聚合模型，端侧通信部向云侧设备发送端侧聚合模型，云侧通信部接受端侧聚合模型，云侧自编码部处理云侧图像得伪图像，聚合模型处理部将伪图像分别输入端侧聚合模型和云侧聚合模型处理得到输出端侧聚合模型和输出云侧聚合模型，根据损失处理部处理得多个损失迭代部通过反向传播以及反复迭代来更新模型参数得到云侧训练伪图像生成器以及端云聚合模型。因此根据本发明能够在保护用户隐私的情况下，仍能高效稳定地聚合模型，具有保护用户隐私、聚合效果好、鲁棒性好、泛化能力佳等优点，适用于用户设备之间模型聚合、端云协同训练等实际应用。
-
-
-
Search Results
4
records
(took 0.014 seconds)
