公开(公告)号：CN119719405A

公开(公告)日：2025-03-28

申请号：CN202411916549.5

申请日：2024-12-24

Applicant: 西安电子科技大学

Inventor： 刘德成 ,  罗旭 ,  胡彬 ,  彭春蕾

IPC: G06F16/58 ,  G06V10/774 ,  G06V10/82 ,  G06V10/776 ,  G06N3/045 ,  G06N3/084

Abstract: 本发明公开了一种基于低秩适应的零样本跨模态图像检索方法和装置，将待检索的第一模态图像输入检索模型得到输出向量；和预先确定的各类别第二模态图像测试样本的输出向量比较，筛选出低差异的第二模态图像测试样本构成检索集。检索模型是通过利用预设低秩技术，将大模型DINOv2的变压器块中对应层更换为域无关和域相关模块从而增加并联的低秩矩阵分支，并冻结原有网络参数梯度训练且验证后得到的；本发明针对两种不同模态的相似点和独特点，设计域无关和域相关模块替换DINOv2中部分层，使低秩技术能更好适应跨模态的零样本图像检索任务，增加模型鲁棒性。训练时冻结原有参数仅优化低秩矩阵，在减少训练参数的同时可提供更佳的准确率。