公开(公告)号：CN117522717B

公开(公告)日：2024-04-19

申请号：CN202410011262.1

申请日：2024-01-03

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张博 ,  段宇轩 ,  兰钧 ,  洪燕 ,  祝慧佳 ,  王维强 ,  牛力

IPC: G06T5/50 ,  G06T5/60 ,  G06T11/60 ,  G06V10/44 ,  G06V10/42 ,  G06V10/46 ,  G06V10/50 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

Abstract: 本说明书实施例公开了一种图像的合成方法、装置及设备，该方法包括：获取包含目标主体的前景图像和待承载目标主体的背景图像，以及将前景图像合成于背景图像中时背景图像中前景图像所在的区域信息和前景图像的合成控制信息；对前景图像进行特征提取，得到前景图像对应的前景全局特征和前景局部特征，并对背景图像进行特征提取，得到背景图像对应的背景图像特征；将前景全局特征和前景局部特征，以及背景图像特征、区域信息和前景图像的合成控制信息输入到可控生成模型中，以通过前景图像的合成控制信息控制可控生成模型将前景全局特征融合到背景图像特征中，并将前景局部特征融合到背景图像特征中该区域信息对应的图像特征中，得到合成图像。

公开(公告)号：CN118839789A

公开(公告)日：2024-10-25

申请号：CN202410978378.2

申请日：2024-07-19

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 洪燕 ,  段宇轩 ,  张博 ,  陈昊星 ,  兰钧 ,  祝慧佳 ,  王维强

IPC: G06N20/00 ,  G06T11/00

Abstract: 本说明书公开了一种模型训练方法、图像生成方法、装置及电子设备。在此方法中，首先获取基础图像以及第一描述文本，将基础图像以及第一描述文本输入到待训练的图像生成模型中，以使图像生成模型确定基础图像对应的图像特征以及第一描述文本对应的文本特征，并基于基础图像对应的图像特征以及第一描述文本对应的文本特征，生成目标对象以参考对象的体貌特征在指定环境中的图像，作为输出图像，根据输出图像对应的图像特征与基础图像对应的图像特征之间的特征偏差，以及输出图像所表达的图像内容的特征与第一描述文本对应的文本特征之间的相似度，确定综合损失函数值，并根据综合损失函数值，对图像生成模型进行训练。

公开(公告)号：CN117522717A

公开(公告)日：2024-02-06

申请号：CN202410011262.1

申请日：2024-01-03

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张博 ,  段宇轩 ,  兰钧 ,  洪燕 ,  祝慧佳 ,  王维强 ,  牛力

IPC: G06T5/50 ,  G06T5/60 ,  G06T11/60 ,  G06V10/44 ,  G06V10/42 ,  G06V10/46 ,  G06V10/50 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

Abstract: 本说明书实施例公开了一种图像的合成方法、装置及设备，该方法包括：获取包含目标主体的前景图像和待承载目标主体的背景图像，以及将前景图像合成于背景图像中时背景图像中前景图像所在的区域信息和前景图像的合成控制信息；对前景图像进行特征提取，得到前景图像对应的前景全局特征和前景局部特征，并对背景图像进行特征提取，得到背景图像对应的背景图像特征；将前景全局特征和前景局部特征，以及背景图像特征、区域信息和前景图像的合成控制信息输入到可控生成模型中，以通过前景图像的合成控制信息控制可控生成模型将前景全局特征融合到背景图像特征中，并将前景局部特征融合到背景图像特征中该区域信息对应的图像特征中，得到合成图像。