图像生成模型训练方法以及图像生成方法

    公开(公告)号:CN119919281A

    公开(公告)日:2025-05-02

    申请号:CN202411997071.3

    申请日:2024-12-31

    Abstract: 本公开关于图像生成模型训练方法以及图像生成方法,该训练方法包括获取控制模型,以及预训练的图像生成器和文本编码器;获取样本文本和样本参考图像,样本文本为用于描述待生成的图像中的人像的文本内容,样本参考图像指示待生成的图像中的全身人像的形态;将样本文本输入文本编码器进行文本编码,得到样本文本特征;基于控制模型对样本参考图像进行特征处理,得到样本图像引导特征;将样本文本特征和样本图像引导特征输入图像生成器进行图像生成,得到预测图像,预测图像的全身人像包括人脸;基于预测图像调整控制模型参数;对调参后的控制模型、文本编码器和图像生成器进行组合,得到图像生成模型。本公开提供带有人脸的全身人像的生成能力。

    图像生成模型的训练方法、装置、电子设备及存储介质

    公开(公告)号:CN119671877A

    公开(公告)日:2025-03-21

    申请号:CN202411731289.4

    申请日:2024-11-28

    Inventor: 诸丰彦 李岩 张迪

    Abstract: 本公开提供了一种图像生成模型的训练方法、装置、电子设备及存储介质,属于计算机技术领域。在该方法中,在将样本服装图像对应的样本模特图像输入到图像生成模块中进行训练的前提下,通过选择性地输入控制数据,也即是选择性地输入空集合,或者该样本服装对象对应的样本服装特征和该样本模特图像对应的样本文本特征中的至少一项,使得图像生成模型更加平衡地学习样本服装特征和样本文本特征。相较于传统的训练方式得到的图像生成模型直接将服装对象变形后与模特图像融合,本方式中的图像生成模型能够实现对结果图像的平衡控制,不仅提高了结果图像的视觉质量和美观程度,还提高了图像生成模型的泛化性能和控制性能。

    文生图场景下的模型训练方法、装置、设备及介质

    公开(公告)号:CN119648827A

    公开(公告)日:2025-03-18

    申请号:CN202411698709.3

    申请日:2024-11-25

    Inventor: 金坤 张迪

    Abstract: 本公开提供了一种文生图场景下的模型训练方法、装置、设备及介质,属于人工智能领域。该方法包括:构建多个图文样本对;对多个图文样本对中包括的原始文本进行数据扰动,得到编辑文本;对编辑文本和多个图文样本对中包括的原始文本进行文本特征提取,得到编辑文本的第一文本特征和多个图文样本对的第二文本特征;对多个图文样本对中包括的图像进行图像特征提取,得到多个图文样本对的图像特征;以学习文本与图像之间的相关性以及文本与文本之间的相关性为目标,基于第一文本特征、第二文本特征和图像特征进行模型训练,得到文生图场景下用于执行文本编码的模型。本公开确保了文生图任务中基于语义相近的文本能够生成相似的图像。

    图像生成模型的训练方法、装置、电子设备及存储介质

    公开(公告)号:CN119600386A

    公开(公告)日:2025-03-11

    申请号:CN202411666876.X

    申请日:2024-11-20

    Abstract: 本公开提供了一种图像生成模型的训练方法、装置、电子设备及存储介质,属于计算机技术领域。在该方法中,对第一训练数据集进行图像去重和文本添加,得到第一中间数据集和第二中间数据集,进而得到第二训练数据集。由于第二训练数据集中的图像为被保留的样本图像,且每张样本图像对应有多条样本文本,因此使用第二训练数据集进行训练不仅减少了低质量数据的干扰,还提高了训练样本的多样性。相较于使用第一训练数据集训练的图像生成模型,使用上述方式训练图像生成模型不仅避免了图像生成模型的过拟合问题,提高了模型的泛化性能,还避免了过曝光、过饱和以及细节残缺等问题,提高了生成图像的图像质量和多样性。

Patent Agency Ranking