-
公开(公告)号：CN117421609A
公开(公告)日：2024-01-19
申请号：CN202311722719.1
申请日：2023-12-15
Applicant: 北京北大软件工程股份有限公司
Abstract: 本发明公开了一种应用于社交媒体的图像与文本语义相似度计算方法及系统，涉及语义相似度计算技术领域，该方法包括：通过图像场景图生成模型和文本场景图生成模型分别将图像和文本转化为图像场景图和文本场景图；根据图像场景图和文本场景图中物体‑关系‑物体三元组分别构建图像高层语义子图和文本高层语义子图；基于图像场景图和文本场景图中的物体节点和关系节点，利用向量点积计算局部细节匹配分数；基于高层语义子图和文本高层语义子图计算高层语义匹配分数；基于局部细节匹配分数和高层语义匹配分数计算图像与文本的语义相似度。本发明从底层局部细节到高层语义信息来衡量两个模态语义的相关程度，得到更加准确的图像与文本的语义相似度。
-
公开(公告)号：CN117421609B
公开(公告)日：2024-04-02
申请号：CN202311722719.1
申请日：2023-12-15
Applicant: 北京北大软件工程股份有限公司
Abstract: 本发明公开了一种应用于社交媒体的图像与文本语义相似度计算方法及系统，涉及语义相似度计算技术领域，该方法包括：通过图像场景图生成模型和文本场景图生成模型分别将图像和文本转化为图像场景图和文本场景图；根据图像场景图和文本场景图中物体‑关系‑物体三元组分别构建图像高层语义子图和文本高层语义子图；基于图像场景图和文本场景图中的物体节点和关系节点，利用向量点积计算局部细节匹配分数；基于高层语义子图和文本高层语义子图计算高层语义匹配分数；基于局部细节匹配分数和高层语义匹配分数计算图像与文本的语义相似度。本发明从底层局部细节到高层语义信息来衡量两个模态语义的相关程度，得到更加准确的图像与文本的语义相似度。
-
Search Results
2
records
(took 0.026 seconds)
