公开(公告)号：CN119625216A

公开(公告)日：2025-03-14

申请号：CN202411674597.8

申请日：2024-11-21

Applicant: 厦门大学

Inventor： 孙晓帅 ,  樊奕君 ,  纪荣嵘 ,  马祎炜 ,  纪家沂

IPC: G06T17/20 ,  G06T15/04 ,  G06T7/80 ,  G06N3/0455

Abstract: 本发明公开了一种通过混合扩散监督进行多模态到3D对象的生成方法，包括以下步骤：S1、采用模态相似度损失对齐模态提示与渲染图像的编码，将多种模态的语意信息更好地注入到3D对象的生成过程当中，用于使生成的3D对象更加贴合各个模态提示的要求；S2、采用混合扩散监督利用2D扩散模型以及3D扩散模型的先验知识，通过结合两种预训练扩散模型的优势，用于提高3D对象的生成效果和一致性：S3、利用三阶段优化方法，通过在每个阶段结合混合扩散监督，生成3D对象；该方法通过采用模态相似度损失、混合扩散监督和三阶段优化方法，可有效提高3D对象的生成质量，具有显著的实用价值和应用前景。

公开(公告)号：CN117593469A

公开(公告)日：2024-02-23

申请号：CN202410063924.X

申请日：2024-01-17

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  马祎炜 ,  樊奕君 ,  纪家沂

IPC: G06T17/00 ,  G06T15/00 ,  G06T19/20 ,  G06N20/00

Abstract: 本发明提供了3D内容生成技术领域的一种3D内容创建方法，包括如下步骤：步骤S1、将DMTet作为3D表示，基于所述3D表示构建几何模型，通过优化所述DMTet来学习几何模型的几何特征；步骤S2、利用双向反射率分布函数预测3D对象材料，基于所述3D对象材料构建外观模型，通过优化所述双向反射率分布函数来学习外观模型的外观特征；步骤S3、预先训练一文本到2D的扩散模型，将摄像机信息动态结合到所述扩散模型中；步骤S4、所述扩散模型基于几何特征以及外观特征渲染一mask图像，获取所述扩散模型的注意力图，将所述注意力图与mask图像进行对齐，进而创建3D内容。本发明的优点在于：极大的提升了3D内容创建的质量。