基于视觉地图融合共享虚拟视野的方法及设备

    公开(公告)号:CN114863067A

    公开(公告)日:2022-08-05

    申请号:CN202210436390.1

    申请日:2022-04-25

    Inventor: 张子浩 郝冬宁

    Abstract: 本申请涉及VR技术领域,提供一种基于视觉地图融合共享虚拟视野的方法及设备,从多个虚拟终端发送的初始视觉地图中选择一张参考视觉地图,针对任意一张非参考视觉地图中的每一关键帧,当该关键帧与参考视觉地图中的历史关键帧存在共视区域时,通过将不同的虚拟终端的地图坐标系统一到一个地图坐标系下,实现非参考视觉地图与参考视觉地图进行地图融合,获得目标视觉地图,并根据融合后的目标视觉地图,同步不同虚拟终端共视的虚拟视野内虚拟物体的状态信息,并分别将目标视觉地图和状态信息发送给相应的虚拟终端后,不同虚拟终端便可准确、高效的共享虚拟视野。

    一种增强现实设备及虚实物体遮挡显示方法

    公开(公告)号:CN113066189B

    公开(公告)日:2022-06-14

    申请号:CN202110368533.5

    申请日:2021-04-06

    Inventor: 郝冬宁

    Abstract: 本申请提供一种增强现实设备及虚实物体遮挡显示方法,所述增强现实设备可以在获取用户的控制指令以后,在真实场景画面中添加虚拟物体,以形成增强现实画面。期间,增强现实设备可以根据虚拟物体像素点对重叠区域内的真实场景画面中稀疏的点云坐标执行插值补偿,以通过插值补偿得到重叠区域内的真实物体像素点坐标。再经过对比坐标值中的深度分量,确定虚实物体的遮挡关系,以按照遮挡关系隐藏被遮挡的虚拟物体像素点,融合成最终的增强现实画面。所述增强现实设备可以在真实场景画面中识别稀疏点云状态下,获得较好的遮挡显示效果,降低硬件功耗的同时有效提升遮挡效果的显示质量。

    一种增强现实设备及交互增强方法

    公开(公告)号:CN114363705A

    公开(公告)日:2022-04-15

    申请号:CN202110535801.8

    申请日:2021-05-17

    Abstract: 本申请提供一种增强现实设备及交互增强方法,所述方法可以在用户输入显示融合画面的控制指令后,获取融合画面中的目标图像,即获取显示设备当前展示的图像。再通过对目标图像执行电子水印检测,在目标图像包含电子水印信息时,直接通过电子水印信息生成识别对象信息,以将识别对象信息显示在UI界面中。所述交互增强方法可以通过电子水印信息来获取部分识别对象信息,因此可以缓解显示设备的画面亮度、画质处理等对识别过程的影响,提高识别准确度。

    一种增强现实设备及虚实物体遮挡显示方法

    公开(公告)号:CN113066189A

    公开(公告)日:2021-07-02

    申请号:CN202110368533.5

    申请日:2021-04-06

    Inventor: 郝冬宁

    Abstract: 本申请提供一种增强现实设备及虚实物体遮挡显示方法,所述增强现实设备可以在获取用户的控制指令以后,在真实场景画面中添加虚拟物体,以形成增强现实画面。期间,增强现实设备可以根据虚拟物体像素点对重叠区域内的真实场景画面中稀疏的点云坐标执行插值补偿,以通过插值补偿得到重叠区域内的真实物体像素点坐标。再经过对比坐标值中的深度分量,确定虚实物体的遮挡关系,以按照遮挡关系隐藏被遮挡的虚拟物体像素点,融合成最终的增强现实画面。所述增强现实设备可以在真实场景画面中识别稀疏点云状态下,获得较好的遮挡显示效果,降低硬件功耗的同时有效提升遮挡效果的显示质量。

    一种串流数据的显示方法及设备

    公开(公告)号:CN114095655B

    公开(公告)日:2024-08-13

    申请号:CN202111359884.6

    申请日:2021-11-17

    Abstract: 本申请涉及显示技术领域,提供一种串流数据的显示方法及设备,在接收到外部设备发送的第一帧串流数据时,确定串流数据的类型,无需针对每一帧都进行判断,节省计算资源;通过对串流数据进行帧解码,获得纹理数据,并将纹理数据拷贝到GPU的渲染管线中进行渲染显示,充分利用GPU的并行处理能力,且不占用CPU资源。渲染过程中,针对不同类型的串流数据,采用与类型相匹配的方式,一次性从纹理数据中分别提取左眼纹理数据和右眼纹理数据,并基于提取的左右眼纹理数据,分别绘制左右眼画面并同时显示,提升了VR设备的渲染能力和显示效率,进而提升了用户的沉浸式体验。

    一种视频显示方法及设备
    6.
    发明公开

    公开(公告)号:CN114071136A

    公开(公告)日:2022-02-18

    申请号:CN202111336260.2

    申请日:2021-11-12

    Abstract: 本申请涉及显示技术领域,提供一种视频显示方法及设备,对是否接收到外部设备发送的目标视频进行检测,在未接收到时,对自身画面进行时间扭曲并显示,在接收到目标视频的初始视频帧时,对接收的初始视频帧进行三维全屏显示,并禁止对目标视频的视频帧进行时间扭曲,防止因错误补偿而引起的画面抖动,且全屏显示视频帧时,用户视点始终朝向视频帧的中心,可以防止头部转动过程中看到空像素。在目标视频显示的过程中,根据目标视频的解码帧率与预设卡顿阈值的比较结果,合理控制是否对视频帧进行时间扭曲及显示,从而减少视频传输过程造成的视频画面抖动,进而减轻头部眩晕感。

    显示设备及显示设备控制方法

    公开(公告)号:CN113778217A

    公开(公告)日:2021-12-10

    申请号:CN202111070248.1

    申请日:2021-09-13

    Abstract: 本申请公开了显示设备及显示设备控制方法,显示设备通过采集、分析用户的图像及图像的深度信息确定图像中用户的控制部位的位置相关信息及姿势变化信息。响应于根据图像中控制部位的位置相关信息将控制部位映射到用户界面中而得到交互位置,控制将交互位置突出显示。响应于判定控制部位的姿势变化信息表征某个预设操作,对交互位置处的界面元素执行该预设操作。从而,使得用户可以通过某个肢体部位的动作与显示设备进行隔空交互,该隔空交互方式不仅可以使用户摆脱键盘、鼠标、遥控器的限制,还无需用户与显示器直接接触,同时可以针对用户界面中的界面元素进行交互,适用于显示设备所能提供的任何功能场景。

    一种手部姿态估计方法及装置

    公开(公告)号:CN113536931B

    公开(公告)日:2025-05-13

    申请号:CN202110665272.3

    申请日:2021-06-16

    Inventor: 郝冬宁

    Abstract: 本申请涉及增强现实技术领域,提供一种手部姿态估计方法及装置,获取左摄像头采集的第一手部图像、右摄像头采集的第二手部图像,以及惯性传感器采集的AR设备的运动数据;根据第一手部图像、第二手部图像和运动数据,确定AR设备的位姿信息;从第一手部图像和第二手部图像中分别提取的手部关节点的2D坐标,得到第一2D坐标集合和第二2D坐标集合,结合AR设备的位姿信息,估计手部关节点的3D坐标,该方法节省了3D坐标的计算量,降低了对AR设备处理性能依赖,并且提高了3D坐标估计的准确性。

    基于空间位置的光照显示虚拟物体的方法及设备

    公开(公告)号:CN114663632A

    公开(公告)日:2022-06-24

    申请号:CN202210206906.3

    申请日:2022-03-04

    Abstract: 本申请涉及AR技术领域,提供一种基于空间位置的光照显示虚拟物体的方法及设备,当在真实画面上放置虚拟物体时,构建真实画面对应的三维点云数据集,并将虚拟物体在所要放置目标位置二维坐标转换为三维坐标,从三维点云数据集中获取以三维坐标为中心,预设的长、宽、高为边的长方体包含的目标点云数据集,并根据目标点云数据集,确定光照信息图,该光照信息图可以准确地反映目标位置在真实环境的光照信息,进一步地,根据光照信息图,渲染放置在目标位置的虚拟物体,使得虚拟物体的表面光照与真实环境一致,从而将虚拟物体真实地叠加显示在真实画面上,提高了虚拟融合的真实性,进而提升了AR体验。

    一种手部姿态估计方法及装置

    公开(公告)号:CN113536931A

    公开(公告)日:2021-10-22

    申请号:CN202110665272.3

    申请日:2021-06-16

    Inventor: 郝冬宁

    Abstract: 本申请涉及增强现实技术领域,提供一种手部姿态估计方法及装置,获取左摄像头采集的第一手部图像、右摄像头采集的第二手部图像,以及惯性传感器采集的AR设备的运动数据;根据第一手部图像、第二手部图像和运动数据,确定AR设备的位姿信息;从第一手部图像和第二手部图像中分别提取的手部关节点的2D坐标,得到第一2D坐标集合和第二2D坐标集合,结合AR设备的位姿信息,估计手部关节点的3D坐标,该方法节省了3D坐标的计算量,降低了对AR设备处理性能依赖,并且提高了3D坐标估计的准确性。

Patent Agency Ranking