公开(公告)号：CN117522717B

公开(公告)日：2024-04-19

申请号：CN202410011262.1

申请日：2024-01-03

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张博 ,  段宇轩 ,  兰钧 ,  洪燕 ,  祝慧佳 ,  王维强 ,  牛力

IPC: G06T5/50 ,  G06T5/60 ,  G06T11/60 ,  G06V10/44 ,  G06V10/42 ,  G06V10/46 ,  G06V10/50 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

Abstract: 本说明书实施例公开了一种图像的合成方法、装置及设备，该方法包括：获取包含目标主体的前景图像和待承载目标主体的背景图像，以及将前景图像合成于背景图像中时背景图像中前景图像所在的区域信息和前景图像的合成控制信息；对前景图像进行特征提取，得到前景图像对应的前景全局特征和前景局部特征，并对背景图像进行特征提取，得到背景图像对应的背景图像特征；将前景全局特征和前景局部特征，以及背景图像特征、区域信息和前景图像的合成控制信息输入到可控生成模型中，以通过前景图像的合成控制信息控制可控生成模型将前景全局特征融合到背景图像特征中，并将前景局部特征融合到背景图像特征中该区域信息对应的图像特征中，得到合成图像。

公开(公告)号：CN117495649A

公开(公告)日：2024-02-02

申请号：CN202410005892.8

申请日：2024-01-02

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 兰钧 ,  祝慧佳 ,  王维强

IPC: G06T1/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本说明书实施例公开了一种图像的处理方法、装置及设备，该方法包括：获取待保护的目标图像和包含预设水印信息的第一图像；基于预设的编码器分别对所述目标图像和所述第一图像进行编码处理，以将预设水印信息通过隐写的方式写入所述目标图像中，得到载有所述预设水印信息的载水印图像的编码信息，所述载水印图像与所述目标图像在视觉上相同，且所述载水印图像的图像特征与所述目标图像的图像特征的相似度小于预设阈值，所述编码器是基于图像样本和包含预设水印样本的第三图像进行模型训练得到的编码器；基于所述载水印图像的编码信息生成所述载水印图像。

公开(公告)号：CN117315674A

公开(公告)日：2023-12-29

申请号：CN202311145850.6

申请日：2023-09-06

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈昊星 ,  许卓尔 ,  兰钧 ,  孟昌华 ,  祝慧佳 ,  王维强

IPC: G06V30/164 ,  G06V30/18 ,  G06T11/60

Abstract: 本说明书一个或多个实施例公开了一种图像文本编辑的方法、装置及电子设备。所述方法包括：对原始文本图像进行针对被替换文本的OCR检测，确定所述被替换文本的位置信息，所述位置信息用于指示所述被替换文本在所述原始文本图像中出现的位置；对所述原始文本图像进行添加噪声处理，得到所述原始文本图像对应的噪声图像；在通过扩散模型对所述噪声图像进行降噪处理时，将替换文本和所述原始文本图像作为所述扩散模型的生成内容引导、将所述位置信息作为所述替换文本的生成位置引导，以生成将所述原始文本图像的被替换文本替换为所述替换文本的目标文本图像。

公开(公告)号：CN116704062A

公开(公告)日：2023-09-05

申请号：CN202310650738.1

申请日：2023-06-02

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 潘子琦 ,  兰钧 ,  孟昌华 ,  王维强

IPC: G06T11/00 ,  G06V20/60 ,  G06V10/774

Abstract: 本说明书公开了一种基于AIGC的数据处理方法、装置、电子设备及存储介质。方法包括：根据目标内容主体需要在创作图像中出现的目标位置，生成按照目标位置呈现目标内容主体的基准图像。基于第一文本到图像模型，根据基准图像和第一文本引导信息，生成包含目标内容主体的中间创作图像，第一文本引导信息用于描述生成目标内容主体的图像，目标内容主体在中间创作图像中的位置与目标位置对应。基于第二文本到图像模型，根据中间创作图像和中间创作图像和第二文本引导信息，在中间创作图像中针对目标内容主体生成目标背景的背景图像，得到目标创作图像，第二文本引导信息用于描述生成目标内容主体在目标背景的图像。

公开(公告)号：CN116188345A

公开(公告)日：2023-05-30

申请号：CN202310189639.8

申请日：2023-02-23

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈昊星 ,  顾章轩 ,  兰钧 ,  孟昌华 ,  王维强

IPC: G06T5/50 ,  G06T7/11 ,  G06V10/42 ,  G06T7/40 ,  G06V10/46 ,  G06N3/08 ,  G06F17/16

Abstract: 本说明书实施例提供了一种图像处理的方法、训练图像处理模型的方法及装置，涉及图像处理技术领域。主要技术方案包括：分别获取目标图像的第一特征表示和参考图像的第一特征表示；利用所述目标图像的第一特征表示和参考图像的第一特征表示进行注意力机制的处理，利用注意力机制的处理结果预测特征变换参数；利用所述特征变换参数对所述目标图像的第一特征表示进行特征变换，得到所述目标图像的第二特征表示；利用所述目标图像的第二特征表示进行预测，得到合成图像。本公开能够提高合成图像的效果。

公开(公告)号：CN115546810A

公开(公告)日：2022-12-30

申请号：CN202211507954.2

申请日：2022-11-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 王维强 ,  顾章轩 ,  王可 ,  孟昌华 ,  兰钧

IPC: G06V30/412 ,  G06V30/414

Abstract: 本说明书实施例提供一种图像元素类别的识别方法及装置，在识别方法中，从多模态的目标图像中，提取其中包含的多个文本片段，及其对应的多个边界框。针对多个边界框形成的初始集合，迭代执行若干轮次的切分操作，其中单论切分操作根据边界框的轴向投影，将本轮当前集合划分为多个子集合，并确定各个子集合的相对排序，直至得到各个边界框的排序编号，该排序编号指示各个边界框的阅读顺序。至少将多个文本片段、多个边界框及其各自的排序编号，输入类别预测模型进行识别处理，得到目标图像中包含的各个元素的类别。

公开(公告)号：CN113592696A

公开(公告)日：2021-11-02

申请号：CN202110927877.5

申请日：2021-08-12

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 兰钧 ,  王可 ,  孟昌华 ,  王维强

IPC: G06T1/00 ,  G06F21/60 ,  G06F21/62 ,  G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本说明书实施例提供一种用于隐私保护的加密模型训练方法及装置、图像加密方法及装置和加密人脸图像识别方法及装置，该加密模型训练方法包括：利用待训练的加密模型对原始人脸图像加密，得到加密人脸图像；将加密人脸图像输入待训练的第一人脸识别模型，得到第一人脸预测结果；利用第一人脸预测结果和原始人脸图像对应的人脸标注结果，确定第一预测损失；将加密人脸图像输入判别模型，通过判别模型得到加密人脸图像为噪声图像的第一预测概率；根据与第一预测损失正相关，与第一预测概率负相关确定总预测损失；以最小化总预测损失为目标，训练加密模型以及第一人脸识别模型。