跨模态提示调整的素描行人重识别方法

    公开(公告)号:CN117953539B

    公开(公告)日:2024-08-27

    申请号:CN202410097955.7

    申请日:2024-01-24

    Inventor: 刘星雨 程旭

    Abstract: 本发明公开了一种跨模态提示调整的素描行人重识别方法,包括如下步骤:S1、构建具有四个阶段的双流骨干网络提取输入行人照片和手绘素描的特征;S2、将S1第一阶段骨干网络输出的照片特征使用照片摄动提示进行采样优化;S3、将S1第三阶段骨干网络输出的素描特征使用第三阶段骨干网络输出的照片特征诱导素描细节增强,进行跨模态特征对齐和素描特征优化。S4、利用通用的损失函数进行网络优化,并对S2和S3处理后经过骨干最后输出的特征进行相似性度量,输出匹配结果。本发明引导浅层冻结的预训练模型从样本提示和特征增强的角度执行素描检索任务,同时考虑到了模态间差距大的问题。

    跨模态提示调整的素描行人重识别方法

    公开(公告)号:CN117953539A

    公开(公告)日:2024-04-30

    申请号:CN202410097955.7

    申请日:2024-01-24

    Inventor: 刘星雨 程旭

    Abstract: 本发明公开了一种跨模态提示调整的素描行人重识别方法,包括如下步骤:S1、构建具有四个阶段的双流骨干网络提取输入行人照片和手绘素描的特征;S2、将S1第一阶段骨干网络输出的照片特征使用照片摄动提示进行采样优化;S3、将S1第三阶段骨干网络输出的素描特征使用第三阶段骨干网络输出的照片特征诱导素描细节增强,进行跨模态特征对齐和素描特征优化。S4、利用通用的损失函数进行网络优化,并对S2和S3处理后经过骨干最后输出的特征进行相似性度量,输出匹配结果。本发明引导浅层冻结的预训练模型从样本提示和特征增强的角度执行素描检索任务,同时考虑到了模态间差距大的问题。

Patent Agency Ranking