公开(公告)号：CN116320603A

公开(公告)日：2023-06-23

申请号：CN202310137893.3

申请日：2023-02-06

Applicant: 中国科学院自动化研究所

Inventor： 刘伍琴 ,  董未名 ,  林敏轩 ,  黄海斌 ,  马重阳 ,  宋玉 ,  徐常胜

IPC: H04N21/44 ,  G06V10/764

Abstract: 本发明提供一种配乐短视频生成方法及装置，方法包括：获取待剪辑电影和目标音乐；基于所述待剪辑电影的每个镜头和所述目标音乐的情感一致性评分、每个镜头时长的约束和电影场景数的约束，从所述待剪辑电影中选择目标镜头；基于所述目标镜头和所述目标音乐，生成目标配乐短视频。本发明能够通过计算每个镜头和音乐整体的情感相似度并联合情感一致性，故事完整性以及节奏同步三个条件进行优化，快速输出符合剪辑标准的配乐短视频。

公开(公告)号：CN116309015A

公开(公告)日：2023-06-23

申请号：CN202310132740.X

申请日：2023-02-06

Applicant: 中国科学院自动化研究所

Inventor： 刘伍琴 ,  董未名 ,  林敏轩 ,  黄海斌 ,  马重阳 ,  徐常胜

IPC: G06T3/00 ,  G06T5/00

Abstract: 本发明提供一种模型训练方法、风格化图像生成方法、装置及电子设备，其中方法包括：获取第一训练样本集，第一训练样本集包括多个样本内容信息和多个样本风格信息，每个样本内容信息和每个样本风格信息分别为图像数据或者文本数据；获取第二训练样本集，第二训练样本集中包括多个样本图像；基于第一训练样本集，对风格迁移模型进行训练，确定预设风格迁移模型；基于第二训练样本集，对图像生成模型进行训练，确定预设图像生成模型；基于预设风格迁移模型和预设图像生成模型，确定预设风格化图像生成模型。本发明实现了大幅提高风格化图像的生成质量的目的，确保风格化图像的内容保真度和风格一致性，提高了预设风格化图像生成模型的适用范围。

公开(公告)号：CN114638743A

公开(公告)日：2022-06-17

申请号：CN202210114602.4

申请日：2022-01-30

Applicant: 中国科学院自动化研究所

Inventor： 张宇欣 ,  唐帆 ,  董未名 ,  马重阳 ,  黄海斌 ,  徐常胜

IPC: G06T3/00

Abstract: 本发明提供一种图像艺术风格迁移方法、系统、电子设备、存储介质，所述迁移方法包括：提取内容图和风格图的内容特征；基于内容图和风格图的内容特征，通过风格迁移网络，将风格图的风格传递给内容图，形成生成图；其中，风格迁移网络基于机器学习中对比学习理论设计对比损失训练而成，对比损失的对象为基于多层风格投影器生成的风格图、生成图和其他风格艺术图三者的风格编码。通过对比学习训练的风格迁移网络，能够将艺术图片的风格迁移入真实感图片中，获取高质量的风格化图片。