基于预训练语言模型的三维内容生成模型训练方法及装置

    公开(公告)号:CN116910572B

    公开(公告)日:2024-02-09

    申请号:CN202311177094.5

    申请日:2023-09-13

    Abstract: 本发明公开了基于预训练语言模型的三维内容生成模型训练方法及装置,应用于三维内容生成技术领域,包括:从第一训练数据集中获取三维内容以及三维内容的三维内容描述;三维内容描述包括三维内容对应的多个属性的文本描述;随机生成噪声以得到第一噪声,并将第一噪声添加至三维内容以得到第一噪声点云;利用三维内容描述、第一噪声点云以及扩散时间对第一扩散模型进行训练,得到三维内容生成模型;第一扩散模型包括多个条件描述子抽取结构,每个条件描述子抽取结构对应一个属性的文本描述,用于抽取该属性的文本描述的描述子。能够提升三维内容生成模型的性能,进而提升生成三维内容的准确性。

    基于预训练语言模型的三维内容生成模型训练方法及装置

    公开(公告)号:CN116910572A

    公开(公告)日:2023-10-20

    申请号:CN202311177094.5

    申请日:2023-09-13

    Abstract: 本发明公开了基于预训练语言模型的三维内容生成模型训练方法及装置,应用于三维内容生成技术领域,包括:从第一训练数据集中获取三维内容以及三维内容的三维内容描述;三维内容描述包括三维内容对应的多个属性的文本描述;随机生成噪声以得到第一噪声,并将第一噪声添加至三维内容以得到第一噪声点云;利用三维内容描述、第一噪声点云以及扩散时间对第一扩散模型进行训练,得到三维内容生成模型;第一扩散模型包括多个条件描述子抽取结构,每个条件描述子抽取结构对应一个属性的文本描述,用于抽取该属性的文本描述的描述子。能够提升三维内容生成模型的性能,进而提升生成三维内容的准确性。

    基于多模态预训练模型的数据集生成方法、训练方法

    公开(公告)号:CN116932803B

    公开(公告)日:2024-01-26

    申请号:CN202311177091.1

    申请日:2023-09-13

    Abstract: 本发明公开了基于多模态预训练模型的数据集生成方法、训练方法,应用于三维内容生成技术领域,包括:将三维内容集中的每个三维内容渲染为二维图像;构建问题集合;所述问题集合包括多个属性对应的问题;针对每一所述二维图像,基于所述问题集合询问图文问答预训练模型以得到每个问题对应的答案,并基于每个属性对应的答案确定每个属性的文本描述;基于文本描述确定每个三维内容的每个属性的描述信息,得到每个三维内容的三维内容描述,以生成三维内容描述数据集;三维内容描述包含多个属性的描述信息。这样,能够提升数据集质量,进而保障三维内容生成模型的性能,从而提升生成三维内容的准确性。

    基于多模态预训练模型的数据集生成方法、训练方法

    公开(公告)号:CN116932803A

    公开(公告)日:2023-10-24

    申请号:CN202311177091.1

    申请日:2023-09-13

    Abstract: 本发明公开了基于多模态预训练模型的数据集生成方法、训练方法,应用于三维内容生成技术领域,包括:将三维内容集中的每个三维内容渲染为二维图像;构建问题集合;所述问题集合包括多个属性对应的问题;针对每一所述二维图像,基于所述问题集合询问图文问答预训练模型以得到每个问题对应的答案,并基于每个属性对应的答案确定每个属性的文本描述;基于文本描述确定每个三维内容的每个属性的描述信息,得到每个三维内容的三维内容描述,以生成三维内容描述数据集;三维内容描述包含多个属性的描述信息。这样,能够提升数据集质量,进而保障三维内容生成模型的性能,从而提升生成三维内容的准确性。

Patent Agency Ranking