公开(公告)号：CN116150418B

公开(公告)日：2023-07-07

申请号：CN202310424288.4

申请日：2023-04-20

Applicant: 南京邮电大学

Inventor： 鲍秉坤 ,  叶俊杰 ,  邵曦

IPC: G06F16/532 ,  G06F16/583 ,  G06F16/332 ,  G06F16/33 ,  G06F16/383 ,  G06F18/25 ,  G06F18/22 ,  G06V10/46 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/047 ,  G06N3/048

Abstract: 本发明公开了一种基于混合聚焦注意力机制的图文匹配方法及系统，方法包括以下步骤：步骤S1.提取图像中显著区域的特征以及自然语言描述中各个单词的特征；步骤S2.利用聚焦的跨模态注意力机制自适应地调整注意力机制对不同图片的温度系数，从而区分有效和无效的区域特征；步骤S3.利用门控的自注意力机制实现对区域特征和单词特征的模态内融合，通过门控信号控制自注意力矩阵自适应地选择有效的区域特征和单词特征；步骤S4.利用跨模态和自模态的区域特征和单词特征计算整个图像和句子的匹配分数。本发明可以实现图文间互相检索。

公开(公告)号：CN116150418A

公开(公告)日：2023-05-23

申请号：CN202310424288.4

申请日：2023-04-20

Applicant: 南京邮电大学

Inventor： 鲍秉坤 ,  叶俊杰 ,  邵曦

IPC: G06F16/532 ,  G06F16/583 ,  G06F16/332 ,  G06F16/33 ,  G06F16/383 ,  G06F18/25 ,  G06F18/22 ,  G06V10/46 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/047 ,  G06N3/048

Abstract: 本发明公开了一种基于混合聚焦注意力机制的图文匹配方法及系统，方法包括以下步骤：步骤S1.提取图像中显著区域的特征以及自然语言描述中各个单词的特征；步骤S2.利用聚焦的跨模态注意力机制自适应地调整注意力机制对不同图片的温度系数，从而区分有效和无效的区域特征；步骤S3.利用门控的自注意力机制实现对区域特征和单词特征的模态内融合，通过门控信号控制自注意力矩阵自适应地选择有效的区域特征和单词特征；步骤S4.利用跨模态和自模态的区域特征和单词特征计算整个图像和句子的匹配分数。本发明可以实现图文间互相检索。