一种基于动量加速和误差反馈的联邦学习三元量化方法

    公开(公告)号:CN119761428A

    公开(公告)日:2025-04-04

    申请号:CN202411827807.2

    申请日:2024-12-12

    Abstract: 本发明属于联邦学习通信开销优化领域,具体涉及一种基于动量加速和误差反馈的联邦学习三元量化方法,该方法包括:中央服务器下发模型参数,随机采样部分客户端接收模型,客户端本地进行模型更新,计算更新后的模型与更新前模型之间的差异Δ,将该差异Δ与误差e通过Ternary量化方法计算得到最后的压缩结果,更新本轮新误差,最后将压缩结果上传到中央服务器,服务器聚合参数后通过动量加速算法更新全局模型,以此执行多个轮次,最终得到训练好的目标模型。本发明在联邦学习基线模型上使用Ternary量化方法,大大降低了传输模型的开销,同时结合Adam动量加速和误差反馈机制,保证在降低通信开销的情况下,模型依然能快速收敛。

    一种基于分层式鲁棒判别学习的高光谱遥感图像异常目标探测方法

    公开(公告)号:CN116402798A

    公开(公告)日:2023-07-07

    申请号:CN202310380512.4

    申请日:2023-04-11

    Abstract: 本发明提出了一种用于高光谱遥感图像异常检测的分层式鲁棒判别学习方法。其特点在于通过强化高光谱图像中背景成分与异常目标成分结构上的非相干约束,以促进两者之间的内在非相干性与相异性,从而增强两者的可分离性。通过l1,1范数和Frobenius范数来有效刻画真实场景下高光谱遥感图像获取过程中引入的复杂混合噪声,提高异常目标检测模型的抗噪声性能。为更精确地分离深度混合的背景和异常目标,获得稳健且检测能力更强的异常目标检测模型,设计了分层式的检测思想,渐进式地分离深度混合的高光谱遥感图像中的背景和异常目标成分。本发明不仅可以提高背景和异常目标之间的可区分能力,而且具有非常强的噪声抑制性能和检测鲁棒性。

    基于知识迁移的自适应聚类联邦学习方法

    公开(公告)号:CN119761533A

    公开(公告)日:2025-04-04

    申请号:CN202411827731.3

    申请日:2024-12-12

    Abstract: 本发明提供一种基于知识迁移的自适应聚类联邦学习方法。中央服务器在每一轮训练中,服务器根据客户模型参数计算相似度矩阵,对客户端进行自适应聚类分组;对于同一组内的客户端模型参数进行加权平均聚合,得到组内模型;通过知识迁移策略,对组模型进行优化,促进不同组之间的知识共享,加快合并聚类过程;自适应聚类完成后,进行组内联邦训练。服务器将组内客户端的模型参数进行联邦平均聚合,更新组模型。将本地数据输入更新后的模型,得到预测结果;构建预测结果与真实标签之间的损失函数,以最小化损失为目标,重复训练步骤。本发明提供的训练方法能够有效解决数据异质性带来的偏差和难以收敛的问题,提升模型的个性化和泛化性能。

Patent Agency Ranking