公开(公告)号：CN117693754A

公开(公告)日：2024-03-12

申请号：CN202280049250.7

申请日：2022-05-19

Applicant: 微软技术许可有限责任公司

Inventor： 陈冬冬 ,  鲍建敏 ,  张婷 ,  袁路 ,  陈栋 ,  闻芳 ,  董潇逸

IPC: G06N3/045 ,  G06T5/00 ,  G06N3/08

Abstract: 本文的公开描述了训练编码器网络以修复具有经掩模的部分的图像。主编码过程被用于将经掩模的输入图像的可见部分编码为经编码的令牌数据。该经编码的令牌数据随后被解码为像素回归输出和特征预测输出两者，其中这输出两者都包括与经掩模的输入图像的经掩模的部分相关联的经修复的图像数据。使用该像素回归输出和该经掩模的输入图像的未掩模版本的像素数据来确定像素回归损失。使用该特征预测输出和该经掩模的输入图像的该未掩模版本的基准真值编码输出来确定特征预测损失。然后使用该像素回归损失和该特征预测损失来训练该主编码过程，由此该主编码过程被训练以将输入图像的结构特征编码为经编码的令牌数据。