公开(公告)号：CN116664465A

公开(公告)日：2023-08-29

申请号：CN202310643758.6

申请日：2023-06-01

Applicant: 重庆大学

Inventor： 李刚 ,  周尚波 ,  李明玉 ,  郭尚志 ,  孟菲 ,  黎荆妗 ,  赵庆 ,  鲜开义 ,  徐博 ,  黄煜辉

IPC: G06T5/50 ,  G06V10/80 ,  G06F16/903

Abstract: 本申请提供了一种多模态图像融合方法、装置及计算机设备，涉及图像处理技术领域，用于在提高多模态图像融合的效率和准确率的基础上，提高数据检索的准确率。方法主要包括：从第一数据格式图像、第二数据格式图像和第三数据格式图像分别提取第一特征矩阵、第二特征矩阵和第三特征矩阵；对第一特征矩阵、第二特征矩阵和第三特征矩阵进行融合得到融合图像；根据融合图像和各个格式图像分别对应的文本数据和音频数据，确定特征融合矩阵；根据特征融合矩阵获取与原始数据对应的检索数据内容，所述检索数据内容包括检索图像、检索文本和/或检索音频；基于所述检索数据内容查找与所述原始数据对应的数据。