公开(公告)号：CN116932803B

公开(公告)日：2024-01-26

申请号：CN202311177091.1

申请日：2023-09-13

Applicant: 浪潮(北京)电子信息产业有限公司

Inventor： 杜国光 ,  范宝余 ,  王丽 ,  郭振华 ,  赵雅倩 ,  李仁刚

IPC: G06F16/58 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/094 ,  G06T3/06 ,  G06T19/20 ,  G06F16/332

Abstract: 本发明公开了基于多模态预训练模型的数据集生成方法、训练方法，应用于三维内容生成技术领域，包括：将三维内容集中的每个三维内容渲染为二维图像；构建问题集合；所述问题集合包括多个属性对应的问题；针对每一所述二维图像，基于所述问题集合询问图文问答预训练模型以得到每个问题对应的答案，并基于每个属性对应的答案确定每个属性的文本描述；基于文本描述确定每个三维内容的每个属性的描述信息，得到每个三维内容的三维内容描述，以生成三维内容描述数据集；三维内容描述包含多个属性的描述信息。这样，能够提升数据集质量，进而保障三维内容生成模型的性能，从而提升生成三维内容的准确性。

公开(公告)号：CN116932803A

公开(公告)日：2023-10-24

申请号：CN202311177091.1

申请日：2023-09-13

Applicant: 浪潮(北京)电子信息产业有限公司

Inventor： 杜国光 ,  范宝余 ,  王丽 ,  郭振华 ,  赵雅倩 ,  李仁刚

IPC: G06F16/58 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/094 ,  G06T3/00 ,  G06T19/20 ,  G06F16/332

Abstract: 本发明公开了基于多模态预训练模型的数据集生成方法、训练方法，应用于三维内容生成技术领域，包括：将三维内容集中的每个三维内容渲染为二维图像；构建问题集合；所述问题集合包括多个属性对应的问题；针对每一所述二维图像，基于所述问题集合询问图文问答预训练模型以得到每个问题对应的答案，并基于每个属性对应的答案确定每个属性的文本描述；基于文本描述确定每个三维内容的每个属性的描述信息，得到每个三维内容的三维内容描述，以生成三维内容描述数据集；三维内容描述包含多个属性的描述信息。这样，能够提升数据集质量，进而保障三维内容生成模型的性能，从而提升生成三维内容的准确性。