公开(公告)号：CN119398128B

公开(公告)日：2025-03-25

申请号：CN202411988061.3

申请日：2024-12-31

Applicant: 安徽大学

Inventor： 翁畅 ,  何婉玲 ,  程誉 ,  刘宇航 ,  马作邦 ,  朱涛 ,  卢一相 ,  竺德

IPC: G06N3/084 ,  G06N3/045

Abstract: 本发明公开了一种预训练语言模型精确参数的微调方法及系统，方法包括：构建鲁棒适配器；将多个构建好的鲁棒适配器串联形成鲁棒适配器链并确定最大链节点；准备预训练语言模型的权重和对应任务标注的数据集；先对鲁棒适配器链中每个鲁棒适配器进行初步训练优化近似微调鲁棒适配器的参数；近似微调鲁棒适配器的参数后，将其与前序冻结的预训练语言模型的权重合并完成当前鲁棒适配器链节点的计算，并生成用于下一次迭代的残差信息，并同时更新当前鲁棒适配器的参数；进行迭代训练，更新残差信息，直至迭代次数等于鲁棒适配器链的最大节点，获取预训练语言模型的最佳权重以及鲁棒适配器的最佳参数，本发明能提供更稳定的收敛性和更简单的超参数调整。

公开(公告)号：CN119398128A

公开(公告)日：2025-02-07

申请号：CN202411988061.3

申请日：2024-12-31

Applicant: 安徽大学

Inventor： 翁畅 ,  何婉玲 ,  程誉 ,  刘宇航 ,  马作邦 ,  朱涛 ,  卢一相 ,  竺德

IPC: G06N3/084 ,  G06N3/045

Abstract: 本发明公开了一种预训练语言模型精确参数的微调方法及系统，方法包括：构建鲁棒适配器；将多个构建好的鲁棒适配器串联形成鲁棒适配器链并确定最大链节点；准备预训练语言模型的权重和对应任务标注的数据集；先对鲁棒适配器链中每个鲁棒适配器进行初步训练优化近似微调鲁棒适配器的参数；近似微调鲁棒适配器的参数后，将其与前序冻结的预训练语言模型的权重合并完成当前鲁棒适配器链节点的计算，并生成用于下一次迭代的残差信息，并同时更新当前鲁棒适配器的参数；进行迭代训练，更新残差信息，直至迭代次数等于鲁棒适配器链的最大节点，获取预训练语言模型的最佳权重以及鲁棒适配器的最佳参数，本发明能提供更稳定的收敛性和更简单的超参数调整。

公开(公告)号：CN118781326A

公开(公告)日：2024-10-15

申请号：CN202410906096.1

申请日：2024-07-08

Applicant: 安徽大学

Inventor： 卢一相 ,  徐长青 ,  竺德 ,  赵大卫 ,  高清维 ,  孙冬 ,  翁畅

IPC: G06V10/25 ,  G06V10/40 ,  G06V10/56 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06V10/42 ,  G06V10/44 ,  G06T7/50 ,  G06N3/0464 ,  G06N3/048

Abstract: 本发明公开了一种基于深度感知RGB多尺度融合网络的目标检测方法，包括：步骤1，分别在RGB分支和深度分支中，对RGB图和深度图进行特征下采样，得到RGB特征和深度特征；在RGB分支中的下采样后插入深度感知RGB特征优化模块增强RGB特征；步骤2，基于多尺度注意力增强融合模块进行RGB特征和深度特征融合；步骤3，双注意力引导模块使用更深的特征来引导融合后的特征以进行进一步滤波；步骤4，利用sigmoid函数优化显著性区域检测，得到最终的检测目标。本发明可以在不增加太多参数的情况下更准确地滤除当前特征，进行更高效的提取和融合，提高在复杂背景或者不同光照条件下显著性检测的精度。