公开(公告)号：CN112685582A

公开(公告)日：2021-04-20

申请号：CN201910994216.7

申请日：2019-10-18

Applicant: 微软技术许可有限责任公司

Inventor： 刘蓓 ,  傅建龙 ,  宋睿华 ,  林萍萍 ,  齐晓宇

IPC: G06F16/54 ,  G06F16/53 ,  G06F16/58

Abstract: 本公开提供了用于自动生成故事板的方法和装置。可以获得包括多个语句的文本。可以检索与所述多个语句对应的图像序列。可以对所述图像序列进行渲染以获得经渲染的图像序列。可以提供包括所述经渲染的图像序列的故事板。

公开(公告)号：CN115222859A

公开(公告)日：2022-10-21

申请号：CN202110412709.2

申请日：2021-04-16

Applicant: 微软技术许可有限责任公司

Inventor： 刘蓓 ,  杨欢 ,  傅建龙

IPC: G06T13/80

Abstract: 根据本公开的实现，提出了一种用于从图像生成视频的方案。在该方案中，获取输入图像和参考视频。基于参考视频，确定参考视频中的参考对象的运动模式。生成以输入图像作为起始帧的输出视频，输入图像中的目标对象在输出视频中的运动具有参考对象的运动模式。以此方式，该方案能够直观地将参考视频中的参考对象的运动模式应用于输入图像，以生成输出视频，并且目标对象在输出视频中的运动具有参考对象的运动模式。

公开(公告)号：CN115017911A

公开(公告)日：2022-09-06

申请号：CN202110247301.4

申请日：2021-03-05

Applicant: 微软技术许可有限责任公司

Inventor： 刘蓓 ,  傅建龙

IPC: G06F40/30 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 根据本公开的实现，提出了一种用于跨模态处理的方案。在该方案中，根据目标模型中的视觉特征提取子模型，提取训练图像的一组视觉特征。每个视觉特征对应于训练图像中的一个像素块。基于视觉语义词典，确定与该组视觉特征对应的一组视觉语义特征。根据目标模型中的文本特征提取子模型，提取与训练图像对应的训练文本的一组文本特征。每个文本特征对应于训练文本中的至少一个词。基于该组视觉语义特征和该组文本特征，训练目标模型以用于确定输入文本和输入图像之间的关联信息。以此方式，可以促进经训练的目标模型在各种视觉‑语言任务中准确且快速地提供结果。