-
公开(公告)号：CN116682144A
公开(公告)日：2023-09-01
申请号：CN202310732993.0
申请日：2023-06-20
Applicant: 北京大学
IPC: G06V40/10 , G06V10/82 , G06V10/764 , G06N3/0442 , G06N3/0455 , G06N3/08 , G06V10/74
Abstract: 本发明提供了一种基于多层次跨模态差异调和的多模态行人重识别方法，属于计算机视觉领域。本发明包括训练样本的获取，以及行人图片和相应文本描述的预处理；然后使用模态编码器‑模态共享解码器架构，在一组可学习的语义查询嵌入的引导下，提取出模态对齐的视觉和文本特征；再使用全局文本特征和未掩码图像块作为输入，对掩码图像块重建，调和图像块级别和实例级别的跨模态差异；通过交叉身份双模拟学习，利用一个差异预测器，帮助不同身份行人特征间的相关性在不同模态间转换，缓解身份级别的跨模态差异；最后使用模型输出的模态对齐的视觉特征和文本特征，计算查询文本特征和图像库中图像特征之间的相似度矩阵，实现准确高效的行人重识别。
-
公开(公告)号：CN113901922B
公开(公告)日：2025-05-23
申请号：CN202111180384.6
申请日：2021-10-11
Applicant: 北京大学深圳研究生院
IPC: G06V40/10 , G06V10/44 , G06V10/82 , G06V10/774 , G06N3/0455 , G06N3/0464 , G06N3/0895
Abstract: 一种基于隐式表征解耦网络的遮挡行人重识别方法，包括：进行行人图片输入、遮挡样本增强，以及行人图片的预处理；行人特征提取和解耦：用卷积神经网络提取行人图像的紧凑全局特征，并使用Transformer在语义偏好对象查询的引导下，对输入的行人特征解耦，得到行人ID相关特征和ID无关特征；对比特征学习：对行人ID相关的特征与ID无关特征进行相反的判别性约束，将遮挡物及背景噪声从行人特征中分离出来，抑制遮挡对行人匹配的干扰；行人图像检索，使用行人ID相关特征计算查询图像和图像库中图像之间的相似度矩阵并排序，输出排序结果。本发明方法可以自动解耦出行人语义特征同时消除遮挡噪声干扰，在遮挡场景下实现鲁棒的行人特征提取和匹配。
-
公开(公告)号：CN116682144B
公开(公告)日：2023-12-22
申请号：CN202310732993.0
申请日：2023-06-20
Applicant: 北京大学
IPC: G06V40/10 , G06V10/82 , G06V10/764 , G06N3/0442 , G06N3/0455 , G06N3/08 , G06V10/74
Abstract: 本发明提供了一种基于多层次跨模态差异调和的多模态行人重识别方法，属于计算机视觉领域。本发明包括训练样本的获取，以及行人图片和相应文本描述的预处理；然后使用模态编码器‑模态共享解码器架构，在一组可学习的语义查询嵌入的引导下，提取出模态对齐的视觉和文本特征；再使用全局文本特征和未掩码图像块作为输入，对掩码图像块重建，调和图像块级别和实例级别的跨模态差异；通过交叉身份双模拟学习，利用一个差异预测器，帮助不同身份行人特征间的相关性在不同模态间转换，缓解身份级别的跨模态差异；最后使用模型输出的模态对齐的视觉特征和文本特征，计算查询文本特征和图像(56)对比文件冯敏;张智成;吕进;余磊;韩斌.基于生成对抗网络的跨模态行人重识别研究.现代信息科技.2020,(第04期),全文.姜定 等.面向跨模态文本到图像行人重识别的Transformer网络.中国图象图形学报.2023,第25卷(第05期),全文.Qiang Liu et al..BDNet:A BERT-baseddual-path network for text-to-imagecross-modal person re-identification.pattern recognition.2023,全文.
-
公开(公告)号：CN113901922A
公开(公告)日：2022-01-07
申请号：CN202111180384.6
申请日：2021-10-11
Applicant: 北京大学深圳研究生院
Abstract: 一种基于隐式表征解耦网络的遮挡行人重识别方法，包括：进行行人图片输入、遮挡样本增强，以及行人图片的预处理；行人特征提取和解耦：用卷积神经网络提取行人图像的紧凑全局特征，并使用Transformer在语义偏好对象查询的引导下，对输入的行人特征解耦，得到行人ID相关特征和ID无关特征；对比特征学习：对行人ID相关的特征与ID无关特征进行相反的判别性约束，将遮挡物及背景噪声从行人特征中分离出来，抑制遮挡对行人匹配的干扰；行人图像检索，使用行人ID相关特征计算查询图像和图像库中图像之间的相似度矩阵并排序，输出排序结果。本发明方法可以自动解耦出行人语义特征同时消除遮挡噪声干扰，在遮挡场景下实现鲁棒的行人特征提取和匹配。
-
-
-
Search Results
4
records
(took 0.015 seconds)
