公开(公告)号：CN116935399A

公开(公告)日：2023-10-24

申请号：CN202310913202.4

申请日：2023-07-24

Applicant: 上海交通大学

Inventor： 王延峰 ,  马超凡 ,  杨雨欢 ,  鞠陈 ,  张菲 ,  张娅

IPC: G06V30/148 ,  G06V30/146 ,  G06V30/18 ,  G06V30/19 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/084

Abstract: 本发明提供了一种开放词汇语义分割方法及系统，包括：将目标类别文本分解为属性文本的集合；使用视觉特征提取器将目标图片编码为视觉特征；使用文本特征提取器将属性文本编码为属性特征；将视觉特征和属性特征一起送入属性聚合网络，得到分割概率图，使用阈值法将其转换为分割结果；计算预测的分割结果和真实分割掩码的损失，利用梯度下降法进行训练；使用训练好的模型，对测试图像和测试属性文本进行推理，得到测试图像分割结果。本发明提出分解‑聚合的策略，大幅提升了开放词汇语义分割的准确性。