-
公开(公告)号:CN116778530A
公开(公告)日:2023-09-19
申请号:CN202310898793.2
申请日:2023-07-21
Applicant: 先进计算与关键软件(信创)海河实验室 , 南开大学
Abstract: 本发明提供了一种基于生成模型的跨外观行人重识别检测方法,属于行人重识别技术领域,包括以下步骤:生成模型中,不同行人图像之间交换体型特征和外观特征,生成新的行人图像;行人图像的RGB图像经过预训练的边缘检测网络和行人语义分割网络,得到行人轮廓草图和行人解析图;行人数据集的行人图像的行人轮廓草图、RGB图像和行人解析图输入相同的骨干网提取特征,特征融合然后进行推理训练。本发明使用生成模型对行人图像进行外观维度上的增强,并将生成的行人图像引入模型的训练阶段;三种模态使用相同的骨干网提取特征,融合进行推理,引导模型学习同一行人不同外观的关键特征,模型在跨外观的场景下具有更鲁棒的性能。
-
公开(公告)号:CN115116095B
公开(公告)日:2025-04-18
申请号:CN202210819309.8
申请日:2022-07-13
Applicant: 南开大学
Abstract: 本发明提供了一种融合外观信息的行人重识别联合优化方法,包括以下步骤:利用数据增强策略预处理跨外观行人重识别数据集;根据图像中行人的身份属性和外观属性,生成多身份多外观的批次图像;使用特征提取网络提取高维特征矩阵,池化获取行人高维特征,批次归一化得到行人推理特征;基于行人推理特征连接不同的全连接层分别获取身份分类特征和外观分类特征;计算最难三元损失、多外观三元损失、身份分类损失和外观分类损失,四种损失加权求和并端到端地联合优化;损失层梯度反向传播,更新权值参数;迭代计算直至特征提取网络模型收敛。本发明提升了模型在同外观和跨外观环境下的综合检索性能。
-
公开(公告)号:CN115376159A
公开(公告)日:2022-11-22
申请号:CN202210820445.9
申请日:2022-07-13
Applicant: 南开大学
Abstract: 本发明提供了一种基于多模态信息的跨外观行人重识别方法,包括以下步骤:预处理跨外观行人重识别数据集;从视觉图像中获取行人的轮廓图像与部件语义图像;利用网络模型提取特征矩阵;将三个特征矩阵拼接为融合特征矩阵;对四个特征矩阵,分别进行池化下采样获取特征;再分别使用批次归一化和全连接层获取分类特征;计算损失;损失层梯度反向传播,更新网络模型及其全连接层的权值参数;重复上述步骤,直至网络模型收敛,或者达到最大迭代次数;使用融合推理特征作为行人特征表示进行检索,融合推理特征由融合特征采用批次归一化获取。本发明有效地缓解了网络过于关注行人外观信息的问题,提升了跨外观行人重识别模型的检索性能。
-
公开(公告)号:CN115116095A
公开(公告)日:2022-09-27
申请号:CN202210819309.8
申请日:2022-07-13
Applicant: 南开大学
Abstract: 本发明提供了一种融合外观信息的行人重识别联合优化方法,包括以下步骤:利用数据增强策略预处理跨外观行人重识别数据集;根据图像中行人的身份属性和外观属性,生成多身份多外观的批次图像;使用特征提取网络提取高维特征矩阵,池化获取行人高维特征,批次归一化得到行人推理特征;基于行人推理特征连接不同的全连接层分别获取身份分类特征和外观分类特征;计算最难三元损失、多外观三元损失、身份分类损失和外观分类损失,四种损失加权求和并端到端地联合优化;损失层梯度反向传播,更新权值参数;迭代计算直至特征提取网络模型收敛。本发明提升了模型在同外观和跨外观环境下的综合检索性能。
-
公开(公告)号:CN115376159B
公开(公告)日:2025-05-16
申请号:CN202210820445.9
申请日:2022-07-13
Applicant: 南开大学
Abstract: 本发明提供了一种基于多模态信息的跨外观行人重识别方法,包括以下步骤:预处理跨外观行人重识别数据集;从视觉图像中获取行人的轮廓图像与部件语义图像;利用网络模型提取特征矩阵;将三个特征矩阵拼接为融合特征矩阵;对四个特征矩阵,分别进行池化下采样获取特征;再分别使用批次归一化和全连接层获取分类特征;计算损失;损失层梯度反向传播,更新网络模型及其全连接层的权值参数;重复上述步骤,直至网络模型收敛,或者达到最大迭代次数;使用融合推理特征作为行人特征表示进行检索,融合推理特征由融合特征采用批次归一化获取。本发明有效地缓解了网络过于关注行人外观信息的问题,提升了跨外观行人重识别模型的检索性能。
-
-
-
-