公开(公告)号：CN117809374A

公开(公告)日：2024-04-02

申请号：CN202311850240.6

申请日：2023-12-29

Applicant: 重庆邮电大学

Inventor： 黄宏程 ,  李玉愉 ,  胡敏

IPC: G06V40/20 ,  G06N3/0464 ,  G06V10/82 ,  G06N3/0442 ,  G06V10/44 ,  G06V10/42 ,  G06V10/75 ,  G06F40/205 ,  G06F40/289 ,  G06V10/764

Abstract: 本发明涉及一种多粒度匹配的跨模态行人重识别方法，属于图形数据读取领域。该方法包括以下步骤：该方法为：使用RestNet50网络提取图像全局特征，使用Bi‑LSTM网络提取文本特征，然后进行全局匹配；将人体分为头、上衣、下衣、鞋子和背包5个局部部分特征，对5个局部部分特征使用多头注意力机制进一步获取模态内的关系信息，得到更新后的局部特征，后续进行局部匹配；将人体分为头、上衣、下衣、鞋子和背包5个局部部分特征采用图神经网络，构建属性与属性之间的空间关系来聚合更有辨识度的特征，后续进行空间匹配；对全局匹配、局部匹配和空间匹配三个粒度进行联合训练，分别计算全局匹配、局部匹配和空间匹配三个粒度的损失。