一种自适应增强对抗哈希无监督跨模态检索方法

    公开(公告)号:CN117851659A

    公开(公告)日:2024-04-09

    申请号:CN202410021902.7

    申请日:2024-01-08

    Abstract: 本发明涉及无监督跨模态哈希检索技术领域,具体涉及一种自适应增强对抗哈希无监督跨模态检索方法,包括分别对图像和文本数据进行特征提取,得到原始图像特征和原始文本特征;设计文本生成器来拟合原始文本特征的文本数据分布,随机生成和图像特征维度一致的假数据,最后使用假数据训练图像鉴别器,并生成特征矩阵;设计特征矩阵映射为哈希码矩阵,并量化映射过程信息的损失,得到信息量损失矩阵;将信息量损失矩阵嵌入多模态相似性矩阵的构造中,得到相似性度量矩阵,再利用相似性度量矩阵实现图像和文本原始特征空间与汉明空间的语义对齐,经过多轮训练,得到最优的跨模态检索模型,使用其进行检索,得到检索结果。

    基于测试集结果的相似度计算和模型权重分配方法

    公开(公告)号:CN117786421A

    公开(公告)日:2024-03-29

    申请号:CN202311760832.9

    申请日:2023-12-20

    Abstract: 本发明涉及基于测试集结果的相似度计算和模型权重分配方法,包括:S1、分别构建客户端数据集和全局测试集;S2、中央服务器初始化初始模型并分发给客户端;S3、客户端基于客户端数据集训练客户端模型并发送至中央服务器;S4、中央服务器基于全局测试集对训练后的客户端模型进行测试,获取软分类结果并计算客户端模型之间的相似度,构建相关性矩阵;S5、中央服务器基于相关性矩阵,为客户端选择拟聚合模型并计算聚合权重,构建个性化模型;S6、中央服务器将个性化模型发送至对应客户端进行检验,若个性化模型收敛,或达到预设训练轮次,则停止;否则返回S3,继续训练,直到达到预设训练截止条件,本发明能提升客户端模型的泛化能力。

Patent Agency Ranking