公开(公告)号：CN119578504A

公开(公告)日：2025-03-07

申请号：CN202411493544.6

申请日：2024-10-24

Applicant: 上海工程技术大学

Inventor： 赵晓丽 ,  王炳全 ,  殷子龙 ,  章逾越

IPC: G06N3/096 ,  G06N3/098 ,  G06F18/214 ,  G06F18/2431

Abstract: 本发明公开了一种基于无数据驱动的联邦学习知识蒸馏方法，属于联邦学习的个性化更新技术领域。包括：每个客户端构建分类网络和生成对抗网络；服务器端构建全局模型和教师模型；每个客户端对私有数据集进行增强，用于分类网络和生成对抗网络的训练，并将训练后的生成器和分类器模型参数反馈给服务器；服务器端更新全局生成器和全局分类器，并利用蒸馏数据对全局模型和教师模型进行训练，再将优化的全局生成器和全局分类器模型参数下发各客户端。本发明在服务器端利用教师网络的丰富知识指导与全局模型相互学习；在客户端引入MixDistribution数据增强技术进行个性化更新，实现数据的双向流动和知识共享，缓解数据异构造成的问题。

公开(公告)号：CN118569251A

公开(公告)日：2024-08-30

申请号：CN202410632407.X

申请日：2024-05-21

Applicant: 上海工程技术大学

Inventor： 赵晓丽 ,  李泽辉 ,  章逾越

IPC: G06F40/279 ,  G06F40/216 ,  G06F18/214 ,  G06F18/2431 ,  G06F18/25 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出了一种基于原型网络的工业小样本关系抽取方法，属于自然语言处理技术领域。包括：获取工业数据集和公共数据集；构建两个相同的基于注意力机制的关系关注原型生成模型，得到公共关系关注原型表示和工业关系关注原型表示；构建基于知识蒸馏的原型蒸馏模型，针对公共关系关注原型表示和工业关系关注原型表示进行知识蒸馏，同时将工业支持集中的句子输入基于知识蒸馏的原型蒸馏模型，基于知识蒸馏后的所述工业关系关注原型表示得到分类预测结果。本发明通过在编码阶段引入注意力机制实现关系描述重要信息选择，随后将信息选择后的原型进行原型蒸馏实现工业小样本关系抽取性能提升。

公开(公告)号：CN118627588A

公开(公告)日：2024-09-10

申请号：CN202410689504.2

申请日：2024-05-30

Applicant: 上海工程技术大学

Inventor： 赵晓丽 ,  章逾越 ,  叶翰辰

IPC: G06N3/094 ,  G06N3/0895 ,  G06N3/098 ,  G06N3/045 ,  G06N3/0475

Abstract: 本发明公开了基于无监督扰动的针对联邦学习的自监督对抗防御框架，属于联邦学习技术领域。包括：服务器初始化全局模型的模型，并将其模型参数下发给所有所述客户端；所述客户端更新其本地模型的在线网络，基于无监督扰动生成无监督对抗样本，并进行自监督对抗训练，训练完成后所有所述客户端上传其在线网络的模型参数；所述服务器聚合后得到新的全局模型的模型参数并下发；所有所述客户端使用鲁棒性感知指数移动平均算法更新其本地模型的在线网络。重复上述操作，直至满足停止条件，完成训练。本发明在客户端采用无监督对抗样本进行自监督对抗训练，并提出了鲁棒性感知指数移动平均算法来更新客户端的网络，有效地提升联邦学习网络的对抗性防御能力。

公开(公告)号：CN115346042A

公开(公告)日：2022-11-15

申请号：CN202210754957.X

申请日：2022-06-29

Applicant: 上海工程技术大学

Inventor： 赵晓丽 ,  章逾越 ,  叶翰辰 ,  方志军

IPC: G06V10/24 ,  G06V10/764 ,  G06V10/774

Abstract: 本发明提出了一种基于自监督学习的显著性目标检测对抗净化方法，属于计算机视觉领域。具体方案为：获取训练集输入图像，将其在四个不同的角度逆时针旋转；针对旋转后的图像，得到旋转预测损失和显著性目标检测损失，最小化两者结合的联合训练损失得到训练模型；获取测试集输入图像，将其随机旋转一个角度；针对旋转后的输入图像，求解最小化旋转预测损失，得到净化图像；并将其旋转复原，输入训练模型的显著性目标检测主任务中，得到显著性目标检测的预测图。本发明通过在SOD网络的中添加一个自监督任务，然后最小化自监督损失来净化对抗样本，与对抗性训练相比，该策略极大地降低了计算成本，并且净化方法对各种测试数据集具有适应性。