-
公开(公告)号：CN117151112A
公开(公告)日：2023-12-01
申请号：CN202311067347.3
申请日：2023-08-23
Applicant: 厦门大学
IPC: G06F40/30 , G06F40/289 , G06F16/35 , G06F18/25
Abstract: 本发明公开了一种多模态关键短语生成方法，包括：获取图像和文本；根据图像得到对应的视觉特征；对图像进行预处理，得到对应的第一文本语义和第二文本语义，根据文本、第一文本语义和第二文本语义得到全局文本特征；根据视觉特征和全局文本特征得到匹配分数；将视觉特征和全局文本特征投影到共享语义空间，并结合匹配分数计算得到相关性矩阵，根据相关性矩阵得到过滤后的视觉特征；对过滤后的视觉特征和全局文本特征进行融合，以得到融合特征，并根据融合特征得到关键词短语分类预测结果；根据融合特征和关键词短语分类预测结果以序列的形式生成每个关键短语；由此，不仅用外部知识丰富了模型输入，而且还有效地过滤了图像噪声。
Search Results
1
records
(took 0.012 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
