-
公开(公告)号:CN118014035A
公开(公告)日:2024-05-10
申请号:CN202311814341.8
申请日:2023-12-26
Applicant: 北京邮电大学 , 联通时科(北京)信息技术有限公司
IPC: G06N3/08 , G06N3/0464 , G06N3/048 , G06N3/0499 , G06N3/0455
Abstract: 本发明提供一种基于自动化适配器的参数高效微调方法及装置,涉及人工智能技术领域,方法包括:获取预训练模型;在预训练模型的候选位置并行插入在先创建的适配器,得到待训练模型;其中,候选位置包括预训练模型的前馈模块、多头注意力模块和整个网络层;利用预设消融机制和神经网络架构搜索,对待训练模型进行训练,以利用适配器对预训练模型进行参数高效微调。本发明通过在预训练模型的候选位置并行插入适配器,并利用预设消融机制和神经网络架构搜索,对插入适配器的预训练模型进行训练,以提高最终适配器对预训练模型的微调性能,在确保少量可调参数的情况下提供强大的性能,进一步减少了微调计算开销,提高了参数高效微调精度。
-
公开(公告)号:CN117687785A
公开(公告)日:2024-03-12
申请号:CN202311707832.2
申请日:2023-12-12
Applicant: 中国联合网络通信集团有限公司 , 联通时科(北京)信息技术有限公司
Abstract: 本申请提供一种算力渲染资源的调度方法、装置、设备及存储介质。该方法包括:获取待显示于设备上的整幅画面和整幅画面中的所有画面区域,整幅画面划分为至少一个画面区域;基于训练得到的注意力模型,确定每个画面区域的权重值,注意力模型为基于用户对设备所显示的整幅图像中的感兴趣区域,训练得到的;根据每个画面区域的权重值,确定每个画面区域的优先级;根据每个画面区域的优先级,调用设备的算力渲染资源依次对优先级高的画面区域进行渲染显示。本申请的方法在显示该画面时,优先调用算力渲染资源对优先级高的区域进行渲染显示,保证在设备的配置和硬件条件有限的情况下,能够尽可能的为用户所关注的画面区域提供好的显示效果。
-