-
公开(公告)号:CN119886277A
公开(公告)日:2025-04-25
申请号:CN202411942761.9
申请日:2024-12-27
Applicant: 杭州市北京航空航天大学国际创新研究院(北京航空航天大学国际创新学院) , 云南联合视觉科技有限公司
Abstract: 本发明涉及一种大模型微调方法、电子设备、可读存储介质、计算机程序产品,属于深度学习领域。本发明包括:在训练的更新过程中,通过掩码,对选择的参数进行更新,未选择的参数冻结;在训练过程中,对损失函数添加L2范数的约束。大模型微调方法与全量微调相比,大大减少了预训练模型的训练更新成本,适用于多训练集,多参数的大规模的预训练模型微调。通过数据处理和添加L2范数的正则化约束,对预训练模型的知识进行了有效迁移,并提升了泛化能力,有效解决了过拟合的情况,提升性能。该方法并没有在添加额外的训练参数,在推理过程中不会增加任何延时。本发明极大地提升了预训练模型微调的计算效率以及微调性能。
-
公开(公告)号:CN103595762A
公开(公告)日:2014-02-19
申请号:CN201310482064.5
申请日:2013-10-15
Applicant: 北京航空航天大学
Abstract: 本发明提供一种云环境下面向移动终端的软件远程执行系统,通过第一移动终端漫游出云基站的覆盖范围时,云基站向云中心发送第一虚拟机的部署信息,云中心根据第一虚拟机的部署信息,将第一虚拟机迁移至云中心,以使第一移动终端利用迁移至云中心的第一虚拟机继续执行在云基站执行的第一应用程序操作,以及存在从云中心漫游至云基站的覆盖范围的第二移动终端时,云基站迁移获取云中心的第二虚拟机,以使第二移动终端利用迁移获取的第二虚拟机,继续执行在云中心执行的第二应用程序操作,解决了当移动终端进行漫游时,应用程序操作不连续,需要重新执行应用程序操作导致效率较低的技术问题。
-
公开(公告)号:CN103595762B
公开(公告)日:2017-04-05
申请号:CN201310482064.5
申请日:2013-10-15
Applicant: 北京航空航天大学
Abstract: 本发明提供一种云环境下面向移动终端的软件远程执行系统,通过第一移动终端漫游出云基站的覆盖范围时,云基站向云中心发送第一虚拟机的部署信息,云中心根据第一虚拟机的部署信息,将第一虚拟机迁移至云中心,以使第一移动终端利用迁移至云中心的第一虚拟机继续执行在云基站执行的第一应用程序操作,以及存在从云中心漫游至云基站的覆盖范围的第二移动终端时,云基站迁移获取云中心的第二虚拟机,以使第二移动终端利用迁移获取的第二虚拟机,继续执行在云中心执行的第二应用程序操作,解决了当移动终端进行漫游时,应用程序操作不连续,需要重新执行应用程序操作导致效率较低的技术问题。
-
-