公开(公告)号：CN116756363A

公开(公告)日：2023-09-15

申请号：CN202310657100.0

申请日：2023-06-05

Applicant: 桂林电子科技大学 ,  南宁桂电电子科技研究院有限公司

Inventor： 蓝如师 ,  戴六连 ,  李芳 ,  杨睿 ,  罗笑南

IPC: G06F16/583 ,  G06F16/383 ,  G06F18/213 ,  G06F18/22 ,  G06F18/25 ,  G06F18/214

Abstract: 本发明涉及跨模态检索技术领域，具体涉及一种由信息量引导的强相关性无监督跨模态检索方法，通过以下步骤实现：首先提取图像局部特征和全局特征，以及文本特征；对图像局部特征和全局特征进行增强；再对增强后的局部特征进行正则化处理；然后使用图像特征融合网络对图像全局特征和局部特征进行正交融合；接着使用多模态融合网络对图像特征和文本特征根据不同模态特征信息量转换比例原则进行融合；最后将不同模态特征映射成哈希码，利用汉明距离进行相似性排序，从而得出检索结果。本发明侧重于对数据特征的增强和融合，能获取更多的语义信息，提高了检索效率。

公开(公告)号：CN117851659A

公开(公告)日：2024-04-09

申请号：CN202410021902.7

申请日：2024-01-08

Applicant: 桂林电子科技大学 ,  南宁桂电电子科技研究院有限公司

Inventor： 李芳 ,  戴六连 ,  蓝如师 ,  杨睿 ,  孙希延 ,  罗笑南

IPC: G06F16/953 ,  G06F16/903 ,  G06N3/094 ,  G06N3/0455 ,  G06N3/047

Abstract: 本发明涉及无监督跨模态哈希检索技术领域，具体涉及一种自适应增强对抗哈希无监督跨模态检索方法，包括分别对图像和文本数据进行特征提取，得到原始图像特征和原始文本特征；设计文本生成器来拟合原始文本特征的文本数据分布，随机生成和图像特征维度一致的假数据，最后使用假数据训练图像鉴别器，并生成特征矩阵；设计特征矩阵映射为哈希码矩阵，并量化映射过程信息的损失，得到信息量损失矩阵；将信息量损失矩阵嵌入多模态相似性矩阵的构造中，得到相似性度量矩阵，再利用相似性度量矩阵实现图像和文本原始特征空间与汉明空间的语义对齐，经过多轮训练，得到最优的跨模态检索模型，使用其进行检索，得到检索结果。