-
公开(公告)号:CN102681661B
公开(公告)日:2015-05-20
申请号:CN201210021579.0
申请日:2012-01-31
Applicant: 微软公司
CPC classification number: G06F3/011 , A63F13/65 , A63F2300/1087 , A63F2300/6009 , G06T7/20 , G06T17/00 , G06T2207/10016 , G06T2207/10028 , G06T2207/30244
Abstract: 描述了在玩游戏中使用3D环境模型。在一实施例中,随着移动深度相机四处移动,该移动深度相机被用于捕捉一系列深度图像并且从这一系列深度图像中生成环境的密集3D模型。该密集3D模型被合并到交互式应用(诸如游戏)中。移动深度相机随后被放置在静态位置以用于交互式阶段,在某些示例中是玩游戏,且系统从由相机捕捉的第二系列的深度图像中检测用户在环境的一部分中的运动。这一运动向交互式应用(诸如游戏)提供了用户输入。在其他实施例中,可执行3D模型中的对象的自动识别和标识,并且这些所标识的对象随后改变交互式应用操作的方式。
-
公开(公告)号:CN102609942A
公开(公告)日:2012-07-25
申请号:CN201210021582.2
申请日:2012-01-31
Applicant: 微软公司
IPC: G06T7/00
CPC classification number: G06T7/20 , G06T7/74 , G06T2207/10016 , G06T2207/10021 , G06T2207/10024 , G06T2207/10028 , G06T2207/30244
Abstract: 本发明涉及使用深度图进行移动相机定位。针对机器人、沉浸式游戏、增强现实和其他应用描述了使用深度图进行移动相机定位。在一实施例中,在一环境中跟踪移动深度相机,同时使用所感测的深度数据形成该环境的3D模型。在一实施例中,当相机跟踪失败时,通过使用先前收集的关键帧或以其他方式来检测相机跟踪的失败并重新定位相机。在一实施例中,通过实时地将当前深度图与该3D模型的特征进行比较,检测到移动相机重新访问一位置的环闭合(loop closure)。在一些实施例中,使用所检测到的环闭合来改善该环境的3D模型的一致性和精确度。
-
公开(公告)号:CN102622776A
公开(公告)日:2012-08-01
申请号:CN201210021228.X
申请日:2012-01-30
Applicant: 微软公司
IPC: G06T17/00
CPC classification number: G06T17/00 , G06T2200/08
Abstract: 描述了三维环境重构。在一示例中,在由存储在存储器设备上的体素组成的3D容体中生成真实世界环境的3D模型。该模型从描述相机位置和定向的数据以及具有指示相机离环境中的一个点的距离的像素的深度图像中构建。单独的执行线程被分配给容体的平面中的每一个体素。每一个线程使用相机位置和定向来确定其相关联的体素的对应的深度图像位置,确定与相关联的体素和环境中的对应位置处的点之间的距离相关的因子,并且使用该因子来更新相关联的体素处的存储值。每一个线程迭代通过容体的其余平面中的等价体素,从而重复该过程以更新存储值。
-
公开(公告)号:CN102460373A
公开(公告)日:2012-05-16
申请号:CN201080027477.9
申请日:2010-06-16
Applicant: 微软公司
CPC classification number: G06F3/0425 , G06F3/017 , G06F3/0421 , G06F3/04815 , G06F3/0488 , G06F19/00 , G06F2203/04101 , G06F2203/04106 , G06F2203/04109 , G06F2203/04801
Abstract: 描述了表面计算机用户交互。在一个实施例中,捕捉正在与在表面计算设备的表面层上显示的用户界面进行交互的用户的手的图像。使用该图像来呈现手的相对应的表示。表示被显示在用户界面中,使得该表示被几何地与用户的手对齐。在各实施例中,表示是阴影或反射的表示。实时地执行过程,使得手的移动会导致表示相应地移动。在某些实施例中,确定手和表面之间的间隔距离,并将其用于控制在3D环境中呈现的对象在表面层上的显示。在某些实施例中,根据间隔距离来修改涉及对象的外观的至少一个参数。
-
公开(公告)号:CN102638692B
公开(公告)日:2015-05-20
申请号:CN201210021241.5
申请日:2012-01-30
Applicant: 微软公司
CPC classification number: G06T7/55 , G01B9/08 , G01B11/22 , H04N5/23229 , H04N5/247 , H04N5/33 , H04N5/332 , H04N13/271
Abstract: 描述了用于降低多个红外深度相机之间的干扰的各系统和方法。在一个实施例中,系统包括多个红外源,其中每一红外源将结构化光图案投影到环境中。控制器用于控制这些源,以便降低由重叠光图案导致的干扰。描述的各种方法包括:在不同源之间循环,其中,所使用的循环可以是固定的或可基于使用相机所检测的场景来动态地改变;设置每一源的波长,使得重叠图案处于不同波长;以独立的运动模式移动源-相机对;以及调整所投影的光图案的形状来使重叠最小化。这些方法还可按任何方式相组合。在另一实施例中,系统包括单个源,并且使用镜像系统将所投影的结构化光图案投射到环境四处。
-
公开(公告)号:CN102622762B
公开(公告)日:2014-07-23
申请号:CN201210021180.2
申请日:2012-01-30
Applicant: 微软公司
CPC classification number: A63F13/00 , A63F13/06 , A63F2300/1087 , A63F2300/69 , G06K9/00 , G06K9/00664 , G06T7/251 , G06T7/30 , G06T2207/10028 , G06T2207/10048 , G06T2207/30244
Abstract: 描述了使用深度图的实时相机跟踪。在一实施例中,深度图的帧由移动深度相机按每秒超过20帧来捕捉,且被用于实时地动态更新指定移动深度相机已经如何移动的一组配准参数。在各示例中,实时相机跟踪输出被用于计算机游戏应用和机器人技术。在一示例中,迭代最近点过程与投影数据关联以及点到面的误差度量一起使用,以便计算经更新的配准参数。在一示例中,图形处理单元(GPU)实现被用于实时地优化误差度量。在某些实施例中,使用移动相机环境的密集3D模型。
-
公开(公告)号:CN104756045A
公开(公告)日:2015-07-01
申请号:CN201380052133.7
申请日:2013-09-18
Applicant: 微软公司
CPC classification number: G06F3/017 , G06F3/014 , G06F3/0304
Abstract: 描述了用于跟踪由关节连接的身体部位的可佩戴传感器,诸如允许对手指进行3D跟踪(并且可任选地还允许对手臂和手进行3D跟踪)的腕带式设备,而不需要在手上佩戴手套或标记。在一实施例中,相机捕捉设备的佩戴者的身体的由关节连接的部位的图像,并且该身体部分的由关节连接的模型被实时地跟踪以允许对分开的计算设备(诸如,智能电话、膝上型计算机或其他计算设备)进行基于姿势的控制。在各示例中,该设备具有用于照明由关节连接的身体部位的结构化照明源和漫射照明源。在一些示例中,该传感器中还包括惯性测量单元以允许对手臂和手进行跟踪。
-
公开(公告)号:CN102681661A
公开(公告)日:2012-09-19
申请号:CN201210021579.0
申请日:2012-01-31
Applicant: 微软公司
CPC classification number: G06F3/011 , A63F13/65 , A63F2300/1087 , A63F2300/6009 , G06T7/20 , G06T17/00 , G06T2207/10016 , G06T2207/10028 , G06T2207/30244
Abstract: 描述了在玩游戏中使用3D环境模型。在一实施例中,随着移动深度相机四处移动,该移动深度相机被用于捕捉一系列深度图像并且从这一系列深度图像中生成环境的密集3D模型。该密集3D模型被合并到交互式应用(诸如游戏)中。移动深度相机随后被放置在静态位置以用于交互式阶段,在某些示例中是玩游戏,且系统从由相机捕捉的第二系列的深度图像中检测用户在环境的一部分中的运动。这一运动向交互式应用(诸如游戏)提供了用户输入。在其他实施例中,可执行3D模型中的对象的自动识别和标识,并且这些所标识的对象随后改变交互式应用操作的方式。
-
公开(公告)号:CN102663722A
公开(公告)日:2012-09-12
申请号:CN201210021583.7
申请日:2012-01-31
Applicant: 微软公司
IPC: G06T7/00
CPC classification number: G06T7/215 , G06T7/194 , G06T2207/10028 , G06T2207/30244
Abstract: 描述了使用深度图像的活动对象分割。在一示例中,活动对象被从接收自移动深度相机的场景的深度图像的背景中分割出来。检索该场景的先前深度图像,并使用迭代最接近点算法来将其与当前深度图像进行比较。迭代最接近点算法包括确定当前深度图像与先前深度图像之间相对应的一组点。在确定该组点期间,检测在这两个深度图像之间不相对应的一个或多个局外点,并且这些局外点处的图像元素被标记为属于活动对象。在各示例中,迭代最接近点算法是作为用于跟踪移动深度相机的算法的一部分来执行的,并且因此不增加大量附加计算复杂度。
-
公开(公告)号:CN102638692A
公开(公告)日:2012-08-15
申请号:CN201210021241.5
申请日:2012-01-30
Applicant: 微软公司
CPC classification number: G06T7/55 , G01B9/08 , G01B11/22 , H04N5/23229 , H04N5/247 , H04N5/33 , H04N5/332 , H04N13/271
Abstract: 描述了用于降低多个红外深度相机之间的干扰的各系统和方法。在一个实施例中,系统包括多个红外源,其中每一红外源将结构化光图案投影到环境中。控制器用于控制这些源,以便降低由重叠光图案导致的干扰。描述的各种方法包括:在不同源之间循环,其中,所使用的循环可以是固定的或可基于使用相机所检测的场景来动态地改变;设置每一源的波长,使得重叠图案处于不同波长;以独立的运动模式移动源-相机对;以及调整所投影的光图案的形状来使重叠最小化。这些方法还可按任何方式相组合。在另一实施例中,系统包括单个源,并且使用镜像系统将所投影的结构化光图案投射到环境四处。
-
-
-
-
-
-
-
-
-