一种联合问答的图像自然语言描述方法

    公开(公告)号:CN115512191A

    公开(公告)日:2022-12-23

    申请号:CN202211150406.9

    申请日:2022-09-21

    Applicant: 同济大学

    Abstract: 一种联合问答的图像自然语言描述方法,包括三个步骤:步骤一,首先使用图像分割模型对图像目标和图像背景的特征进行提取,得到像素级的不同类别的划分,获取目标和背景的分割特征图;步骤二,问题生成模块通过构建隐式的场景类型表征,产生包含关注目标信息的关系特征图,多粒度地生成若干个语义相关的引导问题;步骤三,联合问答模块引入对比学习的损失函数,对关系特征图和引导问题进行联合多模态嵌入表征,该模型通过训练,能生成问题相关的长文本回答,作为图像内容的精细化语义描述。

Patent Agency Ranking