-
公开(公告)号:CN118922854A
公开(公告)日:2024-11-08
申请号:CN202280093320.9
申请日:2022-03-29
Applicant: 微软技术许可有限责任公司
IPC: G06T3/4076
Abstract: 一种计算系统,包括处理器和存储由处理器可执行的指令的存储器,以获得视频中的图像帧的序列。序列的目标图像帧被输入到轨迹感知变换器的视觉标记嵌入网络中,以输出多个查询标记。多个不同的图像帧被输入到运动估计网络、视觉标记嵌入网络,和值嵌入网络中,以分别输出针对每个图像帧的位置图、多个关键标记,和多个值嵌入。从多个不同的图像帧中选择具有来自多个关键标记之中的最接近的相似性值的图像帧,以及在目标时间步处根据索引查询标记、所选择的帧的值嵌入,和目标图像帧的函数来生成超分辨率图像帧。
-
公开(公告)号:CN117689745A
公开(公告)日:2024-03-12
申请号:CN202211074190.2
申请日:2022-09-02
Applicant: 微软技术许可有限责任公司
IPC: G06T11/00 , G06T9/00 , G06N3/08 , G06N3/0464 , G06F40/30
Abstract: 本公开的实施例提供了基于提示从文本生成图像的方案。在该方案中,使用多模态语义对齐的文本编码器和图像编码器来提供语义对齐的提示文本嵌入和提示图像嵌入。文本编码器将输入文本编码为文本嵌入,并使用提示文本嵌入和提示图像嵌入作为基准,将输入文本的文本嵌入投影为与输入文本语义相关的图像嵌入。然后,利用转换网络将图像嵌入转换为图像生成器的隐空间中的隐嵌入,图像生成器基于携带语义信息的隐嵌入来生成与输入文本语义相关的图像。以此方式,能够从包括语义的文本生成具有对应语义的图像,并且能够提升所生成的图像质量。
-
公开(公告)号:CN115222859A
公开(公告)日:2022-10-21
申请号:CN202110412709.2
申请日:2021-04-16
Applicant: 微软技术许可有限责任公司
IPC: G06T13/80
Abstract: 根据本公开的实现,提出了一种用于从图像生成视频的方案。在该方案中,获取输入图像和参考视频。基于参考视频,确定参考视频中的参考对象的运动模式。生成以输入图像作为起始帧的输出视频,输入图像中的目标对象在输出视频中的运动具有参考对象的运动模式。以此方式,该方案能够直观地将参考视频中的参考对象的运动模式应用于输入图像,以生成输出视频,并且目标对象在输出视频中的运动具有参考对象的运动模式。
-
公开(公告)号:CN119301956A
公开(公告)日:2025-01-10
申请号:CN202280096596.2
申请日:2022-06-17
Applicant: 微软技术许可有限责任公司
IPC: H04N19/85 , H04N19/48 , G06N3/0464 , G06N3/08 , G06T3/4053 , G06T5/60
Abstract: 一种计算设备,包括处理器,处理器被配置为接收包括多个输入图像的输入视频数据。输入图像中的每个输入图像可以包括多个输入像素。针对每个输入图像,处理器还可以被配置为对输入图像执行上采样并将经上采样的输入图像划分成相应的多个分块。对于每个分块,处理器还可以被配置为生成多个时间空间频率令牌。针对分块生成的多个时间空间频率令牌可以由时间步长、空间位置和频率来索引。至少部分地在经训练的机器学习模型处,处理器还可以被配置为至少部分地基于时间空间频率令牌来生成多个超分辨输出图像。处理器还可以被配置为输出超分辨输出图像。
-
公开(公告)号:CN113674146A
公开(公告)日:2021-11-19
申请号:CN202010414770.6
申请日:2020-05-15
Applicant: 微软技术许可有限责任公司
Abstract: 根据本公开的实现,提出了一种用于图像处理的方案。在该方案中,第一信息和第二信息基于输入图像和参考图像的纹理特征被确定。第一信息至少指示参考图像中按照纹理特征与输入图像中的第一像素块最相关的第二像素块,并且第二信息至少指示第一像素块与第二像素块的相关度。具有目标分辨率的迁移特征图基于该第一信息和参考图像被确定。该迁移特征图包括与第一像素块相对应的特征块并且该特征块包括第二像素块的纹理特征。输入图像基于该迁移特征图和该第二信息被变换成具有目标分辨率的输出图像。该输出图像体现参考图像的纹理特征。以此方式,该方案能够高效且准确地迁移参考图像的纹理,并且获得更清晰、真实的图像变换结果。
-
-
-
-