公开(公告)号：CN116911408A

公开(公告)日：2023-10-20

申请号：CN202310298785.4

申请日：2023-03-24

Applicant: 西北工业大学

Inventor： 郭斌 ,  古航 ,  於志文 ,  孙文 ,  刘佳琪 ,  梁韵基 ,  王柱

IPC: G06N20/20 ,  G06F21/62 ,  G06N3/08 ,  G06N3/084

Abstract: 本发明公开了一种基于模型拆分的混合联邦学习方法，首先提出自适应模型拆分算法，对设备模型进行拆分，以减少模型传输带来的开销。其次基于拆分学习对设备参数进行优化，并提出多粒度模型聚合算法对不同层次的模型进行簇聚合。最后通过实验证明了本方法通过共享少量数据，在不降低全局模型精度的情况下，显著减少了系统中的数据传输量。

公开(公告)号：CN114048838A

公开(公告)日：2022-02-15

申请号：CN202111250557.7

申请日：2021-10-26

Applicant: 西北工业大学

Inventor： 郭斌 ,  古航 ,  王江涛 ,  於志文 ,  刘佳琪 ,  刘思聪

IPC: G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本发明公开了一种基于知识迁移的混合联邦学习方法，引入联邦学习中的激励机制，首先由各设备上传数据分布情况，服务器根据目前数据的需求信息进行决策，从而进行基于互信息的数据选择算法，给予上传数据的设备以对应的奖励；然后利用收集到的共享数据，在与各本地设备相同的深度学习模型中训练，得到辅助模型；再将辅助模型的通用知识迁移到聚合模型。在不同的联邦训练轮次，根据设备聚合模型和辅助模型，利用不同的迁移方法将辅助模型的通用知识迁移到聚合模型，可得到优化后的全局模型；本发明可以在少数轮次内为聚合模型提供分别通用特征的能力，从而减少设备模型的本地轮次轮次，实现全局模型的快速收敛以及高准确率。