公开(公告)号：CN114297473B

公开(公告)日：2024-10-15

申请号：CN202111413975.3

申请日：2021-11-25

Applicant: 北京邮电大学

Inventor： 范春晓 ,  吴岳辛 ,  孙娟娟 ,  汤艺 ,  郭皓洁

IPC: G06F16/9535 ,  G06F16/907 ,  G06F16/906 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明提出用于图文匹配的多级视觉‑文本语义对齐模型MSAVT，并提供了基于图文匹配的多级视觉‑文本语义对齐模型MSAVT的新闻事件检索方法，实现了新闻事件跨模态图文搜索，以满足当下新闻检索需求。本发明提供的跨模态检索模型的图文对齐精度更高，应用于新闻事件跨模态图文检索时在多个水平的召回率和平均准确精度等指标上有显著的提升。同时，引入预训练的BERT模型提取文本特征，提高了算法的泛化性能。模型采用公共空间特征学习方法，可以独立的获取图像和文本的向量表征，即可以预先存储检索结果的向量表示，检索耗时较短，可以应用于实际场景中。

公开(公告)号：CN114297473A

公开(公告)日：2022-04-08

申请号：CN202111413975.3

申请日：2021-11-25

Applicant: 北京邮电大学

Inventor： 范春晓 ,  吴岳辛 ,  孙娟娟 ,  汤艺 ,  郭皓洁

IPC: G06F16/9535 ,  G06F16/907 ,  G06F16/906 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出用于图文匹配的多级视觉‑文本语义对齐模型MSAVT，并提供了基于图文匹配的多级视觉‑文本语义对齐模型MSAVT的新闻事件检索方法，实现了新闻事件跨模态图文搜索，以满足当下新闻检索需求。本发明提供的跨模态检索模型的图文对齐精度更高，应用于新闻事件跨模态图文检索时在多个水平的召回率和平均准确精度等指标上有显著的提升。同时，引入预训练的BERT模型提取文本特征，提高了算法的泛化性能。模型采用公共空间特征学习方法，可以独立的获取图像和文本的向量表征，即可以预先存储检索结果的向量表示，检索耗时较短，可以应用于实际场景中。