公开(公告)号：CN116503513A

公开(公告)日：2023-07-28

申请号：CN202310269415.8

申请日：2023-03-20

Applicant: 浙江大学

Inventor： 耿卫东 ,  蒋寅峰 ,  毛卫航 ,  厉向东 ,  梁秀波

IPC: G06T11/60 ,  G06T9/00 ,  G06T3/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明公开了一种基于条件扩散模型的草图引导图像编辑方法，包括：获取待修复图像和草图，并随机生成掩码图；利用两个编码器分别对待修复图像和草图进行降维编码得到两个低维向量，同时对掩码图采样得到掩码向量；将两个低维向量和掩码向量作为引导条件，利用条件扩散模型基于引导条件的逆扩散生成修复向量；利用解码器对修复向量进行解码重构回图像像素空间得到图像编辑结果。该方法由于整体过程引入草图作为引导，实现对图像中目标区域的有效编辑并且保证图像的全局一致性。