公开(公告)号：CN111581663B

公开(公告)日：2022-05-03

申请号：CN202010360559.0

申请日：2020-04-30

Applicant: 电子科技大学

Inventor： 李洪伟 ,  徐婕妤 ,  徐国文

IPC: G06F21/62 ,  G06N3/04 ,  G06N3/08 ,  H04L9/08 ,  H04L9/40

Abstract: 本发明提供一种面向非规则用户的保护隐私的联邦深度学习方法，包括步骤：1)系统设置步骤；2)迭代初始化步骤；3)更新加密的用户的可靠性；4)更新加密的汇总信息：服务器利用更新得到的加密的用户的可靠性信息为汇总结果的权重来更新各梯度的加密的汇总结果使得可靠性越低的用户对汇总结果的影响越小。本发明保护所有用户相关信息的隐私，并且减少用户在训练过程中因使用低质量数据的影响，同时确保用户相关信息的真实性。由服务器完成大部分计算，对于计算能力有限的终端用户来说非常友好，且对用户在整个训练过程中由于各种不可预知的原因而中途退出也具有鲁棒性。

公开(公告)号：CN111563265A

公开(公告)日：2020-08-21

申请号：CN202010342081.9

申请日：2020-04-27

Applicant: 电子科技大学

Inventor： 李洪伟 ,  李毅然 ,  刘鹏飞 ,  黄晓明 ,  刘洋洋 ,  徐国文 ,  郝猛 ,  姜文博 ,  龚丽 ,  刘小源 ,  陈涵霄 ,  李双 ,  任彦之 ,  杨浩淼

IPC: G06F21/60 ,  G06F21/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于隐私保护的分布式深度学习方法，首先，在该方法中各个用户利用私有数据集训练本地模型并获得本地梯度，然后，各个用户利用门限加密算法对用户本地梯度数据进行加密，最后，云服务器实现安全聚合和学习模型全局参数的更新进而完成保护隐私的分布式学习训练过程。本发明将门限加密算法应用在分布式深度学习模型中，提出了安全高效的深度学习训练方法，利用门限加密的同态特性实现了梯度数据在云服务器的安全聚合，基于门限加密算法的门限特性，即使服务器与一定数量用户勾结也无法推断用户训练数据的隐私，同时，基于门限加密算法的非交互特性，本发明可以容忍用户在训练过程中有意或无意的退出行为。

公开(公告)号：CN110443063A

公开(公告)日：2019-11-12

申请号：CN201910563455.7

申请日：2019-06-26

Applicant: 电子科技大学

Inventor： 李洪伟 ,  刘小源 ,  徐国文 ,  刘森 ,  龚丽 ,  姜文博 ,  成艺 ,  任彦之 ,  李双

IPC: G06F21/62 ,  G06N20/00

Abstract: 本发明提出一种自适性保护隐私的联邦深度学习的方法，以保护联邦深度学习中用户的原始数据不被好奇的服务器获知，同时保护学习模型的参数不泄露用户原始数据的信息。各个参与者预先与云服务器协商一个网络框架，然后云服务器得到一个初始化的模型，云服务器将该模型参数广播给各个参与者；参与者下载初始化的模型参数并更新自己的本地模型，然后结合本地数据集进行训练，并基于数据属性对模型输出的不同贡献度，对不同数据特征实施有差异的隐私保护操作，参与者将各自训练得到的本地梯度发送给云服务器；最终，云服务器收集各参与者的梯度信息后更新自己的模型来进行后续的训练。本发明在满足隐私保护的前提下，极大提高学习模型的精确度。

公开(公告)号：CN109684855A

公开(公告)日：2019-04-26

申请号：CN201811540698.0

申请日：2018-12-17

Applicant: 电子科技大学

Inventor： 李洪伟 ,  郝猛 ,  徐国文 ,  刘森 ,  龚丽 ,  成艺 ,  李双 ,  任彦之 ,  杨浩淼

IPC: G06F21/60 ,  G06F21/62 ,  H04L9/00

Abstract: 本发明属于人工智能技术领域，涉及一种基于隐私保护技术的联合深度学习训练方法。本发明实现了一种基于隐私保护技术的高效联合深度学习训练方法。本发明中，各个参与方首先在私有数据集上训练本地模型获得本地梯度，再将本地梯度进行拉普拉斯噪音扰动，并加密后发送至云服务器；云服务器将接收到的所有本地梯度与上一轮的密文参数进行聚合操作，并广播产生的密文参数；最终，参与方解密接收到密文参数，并更新本地模型从而进行后续的训练。本发明结合同态加密方案和差分隐私技术，提出了安全高效的深度学习训练方法，保证训练模型的精确性，同时防止服务器推断模型参数和训练数据隐私以及内部攻击获取私密信息。