公开(公告)号：CN116368525A

公开(公告)日：2023-06-30

申请号：CN202180074704.1

申请日：2021-08-31

Applicant: 微软技术许可有限责任公司

Inventor： S·N·巴斯彻 ,  E·索默拉德 ,  A·尼奥菲图 ,  P·C·帕那伊

IPC: G06T11/60

Abstract: 描述了一种用于调整眼睛注视的计算系统、方法和计算机可读存储介质。该方法包括：捕捉包括用户的图像的视频流；检测在该图像内的该用户的面部区域；以及基于检测到的面部区域来检测在该图像内的该用户的面部特征区域。该方法包括：确定该用户是否与该计算系统完全脱离；以及如果该用户没有完全脱离，则基于检测到的面部特征区域来检测在该图像内的该用户的眼睛区域。该方法还包括：基于该检测到的眼睛区域来计算该用户所需的眼睛注视方向；基于所需的眼睛注视方向来生成经注视调整的图像，其中该经注视调整的图像包括扫视眼睛运动、微扫视眼睛运动和/或聚散眼睛运动；以及用该经注视调整的图像替换该视频流内的该图像。

公开(公告)号：CN115004299A

公开(公告)日：2022-09-02

申请号：CN202080093349.8

申请日：2020-11-24

Applicant: 微软技术许可有限责任公司

Inventor： E·C·W·索默拉德 ,  Y·刘 ,  A·尼奥菲图 ,  S·森古普塔

IPC: G10L25/51 ,  G10L25/30 ,  G06N3/04 ,  G06N3/08 ,  G10L25/57 ,  G06V10/82 ,  G06V10/764 ,  G06V20/00 ,  G06T11/00 ,  G10L21/10

Abstract: 一种计算系统包括接收输入图像并将该输入图像编码成真实图像特征的编码器；将该真实图像特征解码成经重构图像的解码器；生成器，该生成器接收对应于该输入图像的第一音频数据并从该第一音频数据中生成第一合成图像特征，并且接收第二音频数据并从该第二音频数据中生成第二合成图像特征；鉴别器，该鉴别器接收真实和合成图像特征这两者并确定目标特征是真实的还是合成的；以及分类器，该分类器基于第二合成图像特征来对第二音频数据的场景进行分类。