公开(公告)号：CN114694081A

公开(公告)日：2022-07-01

申请号：CN202210423708.2

申请日：2022-04-21

Applicant: 南京大学

Inventor： 孙正兴 ,  骆守桐 ,  孙蕴瀚 ,  徐烨超

IPC: G06V20/40 ,  G06F17/16 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了一种基于多元属性合成的视频样本生成方法，包括以下步骤：多元属性模型构建：先根据预训练的视频编码器和属性分解网络从视频中分解出前景对象逐帧的多元静态属性和动态属性，再根据一致性约束和平滑性约束分别对静态属性和动态属性进行一致性和平滑性处理；最终通过向量拼接生成多元属性模型；多元属性嵌入空间生成：构建基于神经网络的自编码器，训练自编码器并生成多元属性嵌入空间；多元属性合成：从多元属性嵌入空间中采样，先利用训练的解码器生成各帧的多元属性，再运用形状合成和光照合成方法计算各帧目标对象三维几何及其纹理，最后，渲染生成视频样本。重复多元属性合成过程可得到由用户指定的多个视频样本。

公开(公告)号：CN114694081B

公开(公告)日：2025-01-07

申请号：CN202210423708.2

申请日：2022-04-21

Applicant: 南京大学

Inventor： 孙正兴 ,  骆守桐 ,  孙蕴瀚 ,  徐烨超

IPC: G06V20/40 ,  G06F17/16 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明公开了一种基于多元属性合成的视频样本生成方法，包括以下步骤：多元属性模型构建：先根据预训练的视频编码器和属性分解网络从视频中分解出前景对象逐帧的多元静态属性和动态属性，再根据一致性约束和平滑性约束分别对静态属性和动态属性进行一致性和平滑性处理；最终通过向量拼接生成多元属性模型；多元属性嵌入空间生成：构建基于神经网络的自编码器，训练自编码器并生成多元属性嵌入空间；多元属性合成：从多元属性嵌入空间中采样，先利用训练的解码器生成各帧的多元属性，再运用形状合成和光照合成方法计算各帧目标对象三维几何及其纹理，最后，渲染生成视频样本。重复多元属性合成过程可得到由用户指定的多个视频样本。