公开(公告)号：CN116204694A

公开(公告)日：2023-06-02

申请号：CN202310126081.9

申请日：2023-02-15

Applicant: 北京邮电大学

Inventor： 欧中洪 ,  罗中李 ,  宋美娜 ,  尧思远

IPC: G06F16/953 ,  G06F16/9538 ,  G06F16/33 ,  G06F16/583 ,  G06N3/045

Abstract: 本发明提出一种基于深度学习与哈希算法的多模态检索方法，包括，获取待检索的多模态数据；基于深度学习与哈希编码的方法对多模态数据进行文本语义检索，获取文本数据；基于灰度级比较的方法和ElasticSearch技术对多模态数据进行图片检索，获取图片数据；使用基于双编码器的模型将文本数据和图片数据映射至统一的向量子空间中；通过计算余弦相似度得到文本数据和所述图片数据在向量子空间中的相似度距离，得到候选集；使用基于融合编码器的模型在候选集上计算相似度并进行排序，得到多模态数据的检索结果。通过本发明提出的方法，实现了大规模数据集上的高效率高精度多模态检索任务。

公开(公告)号：CN114419387A

公开(公告)日：2022-04-29

申请号：CN202111229288.6

申请日：2021-10-21

Applicant: 北京邮电大学

Inventor： 欧中洪 ,  田子敬 ,  史明昊 ,  罗中李 ,  宋美娜 ,  钟茂华 ,  梁昊光

IPC: G06V10/774 ,  G06K9/62 ,  G06N20/00

Abstract: 本发明提出一种基于预训练模型和召回排序的跨模态检索系统及方法，其中，该系统包括：多维度文本信息提取模块，用于为所述跨模态检索系统提供文本侧的信息支持，通过不同维度扩大文本信息的语义表示，增加文本样本量；智能图像检索模块，用于视频智能抽帧模块和以图搜图模块，其中，视频智能抽帧模块用于从一段视频中抽取出最能代表视频内容的若干张图片，以图搜图模块用于完成大规模高效率的图片检索任务；跨模态检索模块，用于根据查询项生成大致相关地候选集，对所述候选集进行精确排序，最终返回相关地检索结果。该系统用于降低信息管理成本、提升信息搜索精度和效率，支撑大型赛事咨询和新闻搜索的多模态自动化信息检索。