公开(公告)号：CN117315090A

公开(公告)日：2023-12-29

申请号：CN202311265075.8

申请日：2023-09-27

Applicant: 中国科学院自动化研究所

Inventor： 董晶 ,  王伟 ,  彭勃 ,  王建文 ,  吕月明 ,  江玥 ,  杨嵩林

IPC: G06T11/60 ,  G06N3/094

Abstract: 本公开涉及一种基于跨模态风格学习的图像生成方法及装置，所述方法包括：通过预训练生成对抗网络生成目标生成图像，并对目标训练图像进行图像增强处理；将目标生成图像和处理后目标训练图像，输入对抗网络的判别器中，将判别器输出的目标特征，输入训练好的原型空间中，并根据原型空间的输出确定交换预测损失；获取目标训练图像和目标生成图像之间的原始对抗损失、源生成图像和目标生成图像之间的对比学习损失与文本指导损失，并根据所述损失确定微调损失；按照所述微调损失对对抗网络进行微调，得到微调后图像生成模型，通过图像生成模型生成与训练图像一致的图像，能够解决当前极少量样本下目标域风格学习不佳的问题。

公开(公告)号：CN117315090B

公开(公告)日：2024-12-13

申请号：CN202311265075.8

申请日：2023-09-27

Applicant: 中国科学院自动化研究所

Inventor： 董晶 ,  王伟 ,  彭勃 ,  王建文 ,  吕月明 ,  江玥 ,  杨嵩林

IPC: G06T11/60 ,  G06N3/094

Abstract: 本公开涉及一种基于跨模态风格学习的图像生成方法及装置，所述方法包括：通过预训练生成对抗网络生成目标生成图像，并对目标训练图像进行图像增强处理；将目标生成图像和处理后目标训练图像，输入对抗网络的判别器中，将判别器输出的目标特征，输入训练好的原型空间中，并根据原型空间的输出确定交换预测损失；获取目标训练图像和目标生成图像之间的原始对抗损失、源生成图像和目标生成图像之间的对比学习损失与文本指导损失，并根据所述损失确定微调损失；按照所述微调损失对对抗网络进行微调，得到微调后图像生成模型，通过图像生成模型生成与训练图像一致的图像，能够解决当前极少量样本下目标域风格学习不佳的问题。