公开(公告)号：CN117454413A

公开(公告)日：2024-01-26

申请号：CN202311232818.1

申请日：2023-09-22

Applicant: 北京理工大学

Inventor： 盖珂珂 ,  王孜隽 ,  祝烈煌

IPC: G06F21/62 ,  G06F21/71 ,  G06F21/55 ,  G06N3/098 ,  G06N3/096

Abstract: 本发明涉及一种基于加权蒸馏的异构联邦学习及恶意客户端防御方法，属于人工智能和网络安全技术领域。首先，客户端根据实际需求选择具有不同神经网络结构的本地模型，并使用本地私有数据对模型进行预训练。不同客户端基于服务器所拥有的公共数据集进行知识共享，服务器通过训练得到客户端输出线性组合的最优解，使得结果接近真实的标签分布。然后，异构模型基于KL散度进行本地更新，根据得到的权重进行相互学习。最后，使用私有数据集进行本地学习，防止局部知识的遗忘。重复上述过程，直到模型准确性不再提高或到达预设迭代轮数。与现有技术相比，本方法有效提高了局部模型的准确性，具有良好的鲁棒性、适应性和更高的效率。

公开(公告)号：CN116861991A

公开(公告)日：2023-10-10

申请号：CN202310591411.1

申请日：2023-05-24

Applicant: 北京理工大学

Inventor： 盖珂珂 ,  王孜隽 ,  祝烈煌

IPC: G06N3/098 ,  G06N20/20 ,  G06F18/243 ,  G06F18/214 ,  H04L9/00 ,  H04L9/06 ,  H04L9/40

Abstract: 本发明涉及一种基于随机抽样和多层拆分的联邦决策树训练方法，属于联邦学习技术领域。所述方法包括下列步骤：建立纵向联邦学习概念，建立决策树模型，设定损失函数，设定残差计算，设定bagging策略，组织基于k层拆分的决策树；初始化；联邦决策树训练；以及模型预测。本发明方法基于哈希映射原理，将经过相同哈希的ID作为样本唯一标识附加传输，实现主动方和被动方之间的数据安全分批传输；基于bagging策略对数据特征进行降维，实现在小数据子集上进行单轮迭代过程，减少训练过程中的计算量；基于“部分随机”的思想，将多轮的相互通信减少为单轮，同时进行多个内部节点的拆分，提高决策树模型的构建和训练效率。