公开(公告)号：CN118569303A

公开(公告)日：2024-08-30

申请号：CN202410493003.7

申请日：2024-04-23

Applicant: 南开大学

Inventor： 范宝余 ,  宫晓利 ,  张金 ,  王立

IPC: G06N3/042 ,  G06N3/0495 ,  G06N3/082 ,  G06N3/045 ,  G06N3/096 ,  G06N3/084 ,  G06F18/241

Abstract: 本发明公开了一种基于图结构级知识互蒸馏的图神经训练方法及装置，构建包含并行的两个图神经网络的的图神经网络训练架构；实现两个图神经网络的一一对应层的选取；构建学习器，对两个图神经网络分别构建节点级知识互蒸馏学习器和图结构级知识互蒸馏学习器；进行图结构级知识互蒸馏的图神经网络训练，在图神经网络训练过程中，两个图神经网络之间互为教师网络、学生网络，对于被选取出的两个图神经网络一一对应的层实现在节点级知识互蒸馏和图结构级知识互蒸馏。与现有技术相比，本发明既实现了两个图神经网络节点级知识互蒸馏，同时实现了利用两个图神经网络的图结构级知识互蒸馏学习器进行图神经网络训练，提高了图神经网络的性能。

公开(公告)号：CN118551810A

公开(公告)日：2024-08-27

申请号：CN202410493006.0

申请日：2024-04-23

Applicant: 南开大学

Inventor： 范宝余 ,  宫晓利 ,  张金 ,  王立

IPC: G06N3/0464 ,  G06N3/0495 ,  G06N3/082 ,  G06N3/098 ,  G06N3/086 ,  G06N3/048

Abstract: 本发明公开了一种模型结构动态可变更新的联邦学习方法，将超网网络每一层的剪枝化率表示为基因，多个基因由底层至顶层拼接而成的向量在服务器端构成超网网络染色体；客户端对超网网络进行初始训练，选择基线输入和随机输入的真实图像，通过集成梯度评估每一层特征图之间的重要性；根据特征图的重要性对每个卷积层和全连接层的剪枝进行筛选，移除该层的卷积核和下一层与之对应的所有输入连接；个性化剪枝完毕后，更新全局剪枝率。与现有技术相比，本发明所实现的个性化剪枝技术的应用可以有效减少模型的大小，降低联邦学习的通信和计算负担，并且每个客户端动态地产生适配其资源和应用需求的本地模型。