公开(公告)号：CN119377662A

公开(公告)日：2025-01-28

申请号：CN202411285397.3

申请日：2024-09-13

Applicant: 中国科学院信息工程研究所

Inventor： 周玉灿 ,  李洪成 ,  古晓艳 ,  李波 ,  王伟平

IPC: G06F18/214 ,  G06F18/24 ,  G06F18/213

Abstract: 本发明涉及一种多样性的语义分布匹配数据压缩方法和系统。该方法包括：在原始数据集上预训练一组模型，得到预训练模型；利用预训练模型提取的语义嵌入将原始数据集中的每个类别建模为高斯分布，其中类中心表示类别的固有特征，协方差矩阵表示类别中实例的语义变化；将合成数据集与原始数据集进行类中心对齐和协方差矩阵对齐；利用多个预训练模型对合成数据集进行优化，通过记忆库存储由先前预训练模型优化的合成数据集的历史类中心；将当前预训练模型优化的合成数据集的类中心与历史类中心进行对齐，得到语义多样化的合成数据集。本发明遵循基于分布匹配的框架，从语义信息的角度出发，充分考虑了语义信息，以增强压缩的合成实例的语义多样性。

公开(公告)号：CN117669698A

公开(公告)日：2024-03-08

申请号：CN202311555818.5

申请日：2023-11-21

Applicant: 中国科学院信息工程研究所

Inventor： 周玉灿 ,  李洪成 ,  古晓艳 ,  李波 ,  王伟平

IPC: G06N3/098 ,  G06N3/096 ,  G06N3/0464 ,  G06N3/045 ,  G06V10/82 ,  G06V10/94 ,  G06V10/776 ,  G06V10/74

Abstract: 本发明公开了种主动定向式数据蒸馏的联邦学习方法、装置及系统，该方法包括：从服务器获取全局模型w(t)的当前参数；判断当前通信轮数t是否大于一设定的早期通信轮数T′；在t≤T′的情况下，基于本地数据集优化全局模型w(t)，并利用全局模型w(t)对本地数据集进行蒸馏后，将得到的局部模型和蒸馏数据返回至服务器，以使该服务器基于所有客户端返回的所述局部模型和所述蒸馏数据生成全局模型w(t+1)；在t>T′的情况下，基于本地数据集优化全局模型后，将得到的局部模型返回至服务器，以使该服务器基于所有客户端返回的所述局部模型 生成全局模型w(t+1)。本发明可以有效改善全局模型因数据异质性性能下降问题。