公开(公告)号：CN116309015A

公开(公告)日：2023-06-23

申请号：CN202310132740.X

申请日：2023-02-06

Applicant: 中国科学院自动化研究所

Inventor： 刘伍琴 ,  董未名 ,  林敏轩 ,  黄海斌 ,  马重阳 ,  徐常胜

IPC: G06T3/00 ,  G06T5/00

Abstract: 本发明提供一种模型训练方法、风格化图像生成方法、装置及电子设备，其中方法包括：获取第一训练样本集，第一训练样本集包括多个样本内容信息和多个样本风格信息，每个样本内容信息和每个样本风格信息分别为图像数据或者文本数据；获取第二训练样本集，第二训练样本集中包括多个样本图像；基于第一训练样本集，对风格迁移模型进行训练，确定预设风格迁移模型；基于第二训练样本集，对图像生成模型进行训练，确定预设图像生成模型；基于预设风格迁移模型和预设图像生成模型，确定预设风格化图像生成模型。本发明实现了大幅提高风格化图像的生成质量的目的，确保风格化图像的内容保真度和风格一致性，提高了预设风格化图像生成模型的适用范围。

公开(公告)号：CN116320603A

公开(公告)日：2023-06-23

申请号：CN202310137893.3

申请日：2023-02-06

Applicant: 中国科学院自动化研究所

Inventor： 刘伍琴 ,  董未名 ,  林敏轩 ,  黄海斌 ,  马重阳 ,  宋玉 ,  徐常胜

IPC: H04N21/44 ,  G06V10/764

Abstract: 本发明提供一种配乐短视频生成方法及装置，方法包括：获取待剪辑电影和目标音乐；基于所述待剪辑电影的每个镜头和所述目标音乐的情感一致性评分、每个镜头时长的约束和电影场景数的约束，从所述待剪辑电影中选择目标镜头；基于所述目标镜头和所述目标音乐，生成目标配乐短视频。本发明能够通过计算每个镜头和音乐整体的情感相似度并联合情感一致性，故事完整性以及节奏同步三个条件进行优化，快速输出符合剪辑标准的配乐短视频。