-
公开(公告)号:CN115512191A
公开(公告)日:2022-12-23
申请号:CN202211150406.9
申请日:2022-09-21
Applicant: 同济大学
IPC: G06V10/778 , G06N3/04 , G06N3/08 , G06T7/10 , G06V10/774
Abstract: 一种联合问答的图像自然语言描述方法,包括三个步骤:步骤一,首先使用图像分割模型对图像目标和图像背景的特征进行提取,得到像素级的不同类别的划分,获取目标和背景的分割特征图;步骤二,问题生成模块通过构建隐式的场景类型表征,产生包含关注目标信息的关系特征图,多粒度地生成若干个语义相关的引导问题;步骤三,联合问答模块引入对比学习的损失函数,对关系特征图和引导问题进行联合多模态嵌入表征,该模型通过训练,能生成问题相关的长文本回答,作为图像内容的精细化语义描述。