公开(公告)号：CN118568274A

公开(公告)日：2024-08-30

申请号：CN202410699277.1

申请日：2024-05-31

Applicant: 重庆医药数据信息科技有限公司

Inventor： 魏然 ,  罗成 ,  刘辉 ,  龙海平 ,  黄煜楠

IPC: G06F16/48 ,  G06F40/289 ,  G06F18/22 ,  G06F18/25 ,  G06V10/74 ,  G06V10/80

Abstract: 本发明公开一种基于加权多模态重排的图文音跨模态检索方法，包括以下步骤：S1：采集包含图像、文本和音频数据的多模态数据集；S2：对多模态数据集进行预处理和特征提取得到图像特征表示、文本特征表示和音频特征表示；S3：根据图像特征表示、文本特征表示和音频特征表示构建跨单模态检索的第一加权多模态重排相似度模型和跨双模态检索的第二加权多模态重排相似度模型；S4：根据第一加权多模态重排相似度模型和第二加权多模态重排相似度模型进行跨模态检索。本发明通过使用使用加权多模态重排的图文音跨模态检索方法，实现图像、文本和音频相互检索的功能。用户通过输入图像、文本或音频数据，检索相关的另一或二模态数据，返回检索结果。