一种多阶段渐进式知识提炼的师生协同演化方法

    公开(公告)号:CN119250110A

    公开(公告)日:2025-01-03

    申请号:CN202411240419.4

    申请日:2024-09-05

    Abstract: 本申请的实施例涉及深度学习技术领域,特别涉及一种多阶段渐进式知识提炼的师生协同演化方法,包括:基于教师模型T0构建学生模型S0,将T0与流动知识融合模块Ψ0连接,将训练样本输入至T0和S0中,对S0进行离线蒸馏训练,并更新Ψ0的特征融合参数,得到Ψ1;对S0进行剪枝,得到S1,将S0作为新的教师模型T1,并将T1与Ψ1连接,将训练样本输入至T1和S1中,对T1进行训练,对S1进行在线蒸馏训练,并更新Ψ1的特征融合参数,得到Ψ2;判断S1是否满足预设的参数需求;若满足,则将S1确定为目标压缩的学生模型;否则,进行下一个阶段的在线蒸馏训练至获得满足的Sn。该方法实现了更广泛的教师知识的平稳高效传递。

    基于层信息感知的个性化联邦方法

    公开(公告)号:CN119476532A

    公开(公告)日:2025-02-18

    申请号:CN202411544505.4

    申请日:2024-10-31

    Abstract: 本申请公开了基于层信息感知的个性化联邦方法,具体涉及机器学习的领域。包括:将客户端模型分为头部部分和身体部分;对身体部分进行微调;确定身体部分的个性参数和全局参数;确定每个客户端的相似客户端;利用相似客户端更新每个客户端的个性参数,并利用全局客户端更新每个客户端的全局参数,得到更新身体部分,将更新身体部分与头部部分组合,得到第一个性化客户端模型;根据相似性确定客户端模型的特征优化状态,在确定达到预设优化状态时,对身体部分进行冻结,并对头部部分进行微调,得到第二个性化客户端模型;重新对头部部分进行冻结,直至微调的训练总轮次达到预设通信轮次。能提高模型各层的个性和泛化能力影响。

    一种用于边缘智能的联邦类增量学习框架及方法

    公开(公告)号:CN119380112A

    公开(公告)日:2025-01-28

    申请号:CN202411663186.9

    申请日:2024-11-20

    Abstract: 本发明公开了一种用于边缘智能的联邦类增量学习框架及方法。该框架包括:中心云服务器,多个边缘服务器和多个边缘智能设备,中心云服务器与多个边缘服务器连接、一个边缘服务器与多个边缘智能设备连接,其中,中心云服务器包括第一初始神经网络模型和第二初始神经网络模型。本发明解决了边缘设备的性能和资源需求过高,无法在低计算和存储资源的边缘设备上高效运行,类增量学习方法存在灾难性遗忘问题,模型在接收到新的类别数据时,其对旧类别的表现会急剧下降,缺乏对数据隐私的有效保护,尤其是在联邦学习中,由于不同边缘设备上的数据分布不均匀,模型容易泄露本地数据的敏感信息的技术问题。

    一种基于区域流动的早期流行病感染风险量化方法

    公开(公告)号:CN119230132A

    公开(公告)日:2024-12-31

    申请号:CN202411250102.9

    申请日:2024-09-06

    Abstract: 本发明属于流行病感染风险评估技术领域,提供了一种基于区域流动的早期流行病感染风险量化方法。该方法包括:1)使用人类流动性数据构建动态移动流量感知图,以得到由动态流构建的每个区域的流动模式与其他区域之间的关联程度;2)基于空间相互作用函数模型SIF来计算县区内流动导致的流行病感染风险值;3)基于县区的流入流出数量来量化县间流动的影响,生成县级动态移动流量感知图,以动态地量化跨县传播风险;4)通过将县间风险量化与县区内风险量化整合,计算出所研究县区的感染风险值。本发明的方法全面考虑了区域内部和跨区域的流动性,能够快速准确地量化区域的早期流行病感染风险。

    一种单阶段渐进式知识提炼的师生协同演化方法

    公开(公告)号:CN118821848A

    公开(公告)日:2024-10-22

    申请号:CN202410972566.4

    申请日:2024-07-19

    Abstract: 本申请的实施例涉及深度学习技术领域,特别涉及一种单阶段渐进式知识提炼的师生协同演化方法,包括:将总训练时间划分为K个时间窗口,并将教师模型的各层划分为K个渐进小组,教师模型与教师端知识适配器连接;在当前时间窗口对应的训练中,将标注有真实标签的训练样本分别输入至学生模型和教师模型,得到学生模型输出的学生预测结果、学生模型的最后一层卷积层输出的学生特征和教师端知识适配器输出的融合特征;基于学生预测结果、真实标签、学生特征和融合特征构建知识蒸馏损失以更新学生模型的参数;基于真实标签和融合特征构建渐进式恢复损失以更新教师端知识适配器的参数,最终得到训练完成的学生模型,从而实现高效且稳定的知识迁移。

Patent Agency Ranking