公开(公告)号：CN118887665A

公开(公告)日：2024-11-01

申请号：CN202410837317.4

申请日：2024-06-26

Applicant: 厦门大学

Inventor： 曹刘娟 ,  曲延松 ,  代绍辉 ,  张声传 ,  纪荣嵘

IPC: G06V20/70 ,  G06V10/26 ,  G06T17/05 ,  G06T5/50 ,  G06V10/762 ,  G06V10/764 ,  G06V10/774 ,  G06V10/74 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于三维高斯场景的开放词汇语义分割方法及装置，涉及计算机视觉技术领域。首先训练不含有语义信息的三维高斯场景，然后对数据集的图片进行预处理，提取出语义特征图；然后利用语义特征图，在三维高斯场景中训练场景的开放词汇语义特征，输出每一个视角下的图片对应的预测特征图；训练完成后，将语义分割视作二分类，引入可优化的语义空间超平面，利用RES模型的预测结果来微调可优化的语义空间超平面，输出语义分割结果。本发明提供的一种基于三维高斯场景的开放词汇语义分割方法及装置，提出可优化的语义空间超平面方法，不需要基于经验设定的像素—文本相似度的阈值，又能实现相似度阈值的动态调整与更精确的分割效果。