公开(公告)号：CN119478225A

公开(公告)日：2025-02-18

申请号：CN202411548463.1

申请日：2024-11-01

Applicant: 厦门大学

Inventor： 曹刘娟 ,  潘少震 ,  纪荣嵘 ,  曲延松

IPC: G06T17/00 ,  G06T15/20

Abstract: 由文本生成层次化3D场景的方法、电子设备和存储介质，包括以下步骤：初始化多层次3D高斯，随机选择相机角度进行可微渲染，得到多层次高斯渲染图；将随机噪声加入多层次高斯渲染图，将待生成的3D场景的提示文本和加噪后的多层次高斯渲染图输入预训练的多层次图像扩散模型以预测噪声；对预测的噪声和随机噪声使用分数蒸馏损失迭代优化，并将分数蒸馏损失的梯度反向传递到多层次3D高斯，得到最终的多层次3D场景。能实现复杂的层次化场景级3D生成。

公开(公告)号：CN118887665A

公开(公告)日：2024-11-01

申请号：CN202410837317.4

申请日：2024-06-26

Applicant: 厦门大学

Inventor： 曹刘娟 ,  曲延松 ,  代绍辉 ,  张声传 ,  纪荣嵘

IPC: G06V20/70 ,  G06V10/26 ,  G06T17/05 ,  G06T5/50 ,  G06V10/762 ,  G06V10/764 ,  G06V10/774 ,  G06V10/74 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于三维高斯场景的开放词汇语义分割方法及装置，涉及计算机视觉技术领域。首先训练不含有语义信息的三维高斯场景，然后对数据集的图片进行预处理，提取出语义特征图；然后利用语义特征图，在三维高斯场景中训练场景的开放词汇语义特征，输出每一个视角下的图片对应的预测特征图；训练完成后，将语义分割视作二分类，引入可优化的语义空间超平面，利用RES模型的预测结果来微调可优化的语义空间超平面，输出语义分割结果。本发明提供的一种基于三维高斯场景的开放词汇语义分割方法及装置，提出可优化的语义空间超平面方法，不需要基于经验设定的像素—文本相似度的阈值，又能实现相似度阈值的动态调整与更精确的分割效果。

公开(公告)号：CN119963749A

公开(公告)日：2025-05-09

申请号：CN202510447570.3

申请日：2025-04-10

Applicant: 厦门大学

Inventor： 曹刘娟 ,  郭岩松 ,  纪荣嵘 ,  曲延松 ,  胡杰

IPC: G06T17/00 ,  G06T19/20 ,  G06T7/70 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明公开了一种基于稀疏视角三维重建和动态对齐的三维分割方法及系统，涉及三维目标分割技术领域，方法包括：图片预处理；将预处理后的图片以两个视图图片为一组输入图片组，输入神经网络MASt3R中，得到每组输入图片组在同一个相机坐标系下的点云数据；遍历每组输入图片组对应的点云，基于动态全局对齐策略学习到每个视图映射到世界坐标系的变换矩阵；基于用户提示以及SAM2获取所有视角的二维分割掩码，通过学习到的矩阵将二维分割掩码对齐到世界坐标系。本发明基于神经网络MASt3R提出一种基于二维视图的前馈式三维分割模型，可以实现任意场景下的实时交互式三维分割，既保证性能又显著提升效率。