公开(公告)号：CN117078939A

公开(公告)日：2023-11-17

申请号：CN202311129283.5

申请日：2023-09-04

Applicant: 大连理工大学

Inventor： 侯雨爽 ,  孔雨秋 ,  张立和 ,  尹宝才

IPC: G06V10/26 ,  G06V10/80 ,  G06V10/44 ,  G06V10/776 ,  G06V10/82 ,  G06N3/0895 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明属于计算机视觉技术领域，一种基于语义关系挖掘与推理的指称图像分割方法。首先使用文本解析器将输入的文本进行解析，得到文本中的实体和实体之间的关系，并生成对应场景图；再将文本和图像分别输入到文本和视觉编码器编码得到文本和视觉特征，并进行特征融合，得到文本嵌入的视觉特征；再将文本嵌入的视觉特征与场景图共同输入到图卷积模块中进行特征更新；最后利用推理融合模块对图卷积输出和文本嵌入的视觉特征进行最终的融合，并使用对比学习损失函数进行训练，最终得到更精确的分割掩码。本发明利用场景图、图卷积和注意力机制对上下文信息和图像特征进行多次的更深入的融合更新，在多个数据集上进一步提高指称图像分割方法的准确率。