公开(公告)号：CN114298159A

公开(公告)日：2022-04-08

申请号：CN202111482531.5

申请日：2021-12-06

Applicant: 湖南工业大学

Inventor： 袁鑫攀 ,  毛鑫鑫 ,  谢少军 ,  夏威 ,  李长云

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06V10/74 ,  G06V10/80

Abstract: 一种基于无标签样本下文本融合的图像相似性检测方法，属于图像相似性度量技术领域，包括以下步骤：S1：构建包含upper、middle、lower三个分支的TFCSiam模型；S2：对S1构建的模型进行训练；S3：利用S2训练好的模型进行图像间相似性度量。该方法通过引入无监督学习中的对比学习、文本融合结构只是将图像相关的文本信息作为图像特征的补充、通过图文跨模态模块将文本信息嵌入到一个图文语义共享的子空间，然后再将子空间的嵌入特征融合到图像当中等方法，实现了减小特征融合以及后续多模态投影的复杂度、提高模型预测精度、提高模型训练计算效率等效果。

公开(公告)号：CN114298159B

公开(公告)日：2024-04-09

申请号：CN202111482531.5

申请日：2021-12-06

Applicant: 湖南工业大学

Inventor： 袁鑫攀 ,  毛鑫鑫 ,  谢少军 ,  夏威 ,  李长云

IPC: G06V10/74 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0895 ,  G06V10/80

Abstract: 一种基于无标签样本下文本融合的图像相似性检测方法，属于图像相似性度量技术领域，包括以下步骤：S1：构建包含upper、middle、lower三个分支的TFCSiam模型；S2：对S1构建的模型进行训练；S3：利用S2训练好的模型进行图像间相似性度量。该方法通过引入无监督学习中的对比学习、文本融合结构只是将图像相关的文本信息作为图像特征的补充、通过图文跨模态模块将文本信息嵌入到一个图文语义共享的子空间，然后再将子空间的嵌入特征融合到图像当中等方法，实现了减小特征融合以及后续多模态投影的复杂度、提高模型预测精度、提高模型训练计算效率等效果。

公开(公告)号：CN117828121A

公开(公告)日：2024-04-05

申请号：CN202311870506.3

申请日：2023-12-29

Applicant: 湖南工业大学

Inventor： 袁鑫攀 ,  夏威 ,  曾志高 ,  彭成 ,  李长云

IPC: G06F16/58 ,  G06F16/535 ,  G06V10/62 ,  G06V20/52 ,  G06V10/80 ,  G06F40/289 ,  G06N5/025

Abstract: 本发明公开了一种依存属性增强的文搜图行人重识别方法，包括：进行文本模态预处理，用以增强文本的语义特征；通过文本编码器#imgabs0#得到文本特征Tf，并引入自注意力网络Attn，以输出依存增强后的文本特征E；进行视觉模态预处理，对行人图像Vp进行数据增强，再通过视觉编码器#imgabs1#获得图像特征F；将文本特征E和图像特征F进行特征嵌入化，得到文本嵌入t和图像嵌入v；计算分类损失和排名损失，以训练属性依存增强的文搜图行人重识别模型；综上所述，本发明使用依存关系的先验知识挖掘属性信息来增强语义特征，克服了在文搜图行人重识别的领域上常规的图文匹配方法对行人属性挖掘的不足。