一种增强现实设备与移动机器人的配准方法

    公开(公告)号:CN111179341B

    公开(公告)日:2022-05-20

    申请号:CN201911252543.1

    申请日:2019-12-09

    Abstract: 本发明公开了一种增强现实设备与移动机器人的配准方法,获得当前场景的2D图像及点云数据;获取当前场景的2D图像,并获取此时设备的位姿;对上述获得的两张2D图像进行特征提取和特征匹配;计算对应点云数据,获得混合现实设备图像的2D特征点与深度相机3D点的对应值;求解3D到2D点对的运动;利用PnP方法求解出深度相机到混合现实设备的变换矩阵;以移动机器人基座为基准点得到三维坐标,转换到混合现实设备的世界坐标系中的转换矩阵P2;本发明使用图像特征点和点云数据,对混合现实设备与可移动机器人进行配准,在配准完成后,虚拟物体的位姿可以根据实际环境和设备状态进行实时调整,使机器反馈与人的感官相融合,给用户更加自然的使用体验。

    一种基于增强现实和多模态生物信号的轮椅机器人系统

    公开(公告)号:CN111134974A

    公开(公告)日:2020-05-12

    申请号:CN201911253652.5

    申请日:2019-12-09

    Abstract: 本发明公开了一种基于增强现实和多模态生物信号的轮椅机器人系统,包括实时脑电信号理解模块、实时肌电信号理解模块、环境理解模块、用户意图识别模块、机器人控制模块以及增强现实模块,本发明使用方便,能够有效将增强现实和多模态生物信号结合,从而对辅助轮椅机器人进行精准控制。本发明将电控轮椅与可移动机器人技术、增强现实技术、脑电技术、肌电技术结合,系统性地解决了现有轮椅在家庭环境下功能不够丰富、操作不够简单自然、安全性较低的问题。

    一种基于增强现实和多模态生物信号的轮椅机器人系统

    公开(公告)号:CN111134974B

    公开(公告)日:2021-04-20

    申请号:CN201911253652.5

    申请日:2019-12-09

    Abstract: 本发明公开了一种基于增强现实和多模态生物信号的轮椅机器人系统,包括实时脑电信号理解模块、实时肌电信号理解模块、环境理解模块、用户意图识别模块、机器人控制模块以及增强现实模块,本发明使用方便,能够有效将增强现实和多模态生物信号结合,从而对辅助轮椅机器人进行精准控制。本发明将电控轮椅与可移动机器人技术、增强现实技术、脑电技术、肌电技术结合,系统性地解决了现有轮椅在家庭环境下功能不够丰富、操作不够简单自然、安全性较低的问题。

    一种增强现实设备与移动机器人的配准方法

    公开(公告)号:CN111179341A

    公开(公告)日:2020-05-19

    申请号:CN201911252543.1

    申请日:2019-12-09

    Abstract: 本发明公开了一种增强现实设备与移动机器人的配准方法,获得当前场景的2D图像及点云数据;获取当前场景的2D图像,并获取此时设备的位姿;对上述获得的两张2D图像进行特征提取和特征匹配;计算对应点云数据,获得混合现实设备图像的2D特征点与深度相机3D点的对应值;求解3D到2D点对的运动;利用PnP方法求解出深度相机到混合现实设备的变换矩阵;以移动机器人基座为基准点得到三维坐标,转换到混合现实设备的世界坐标系中的转换矩阵P2;本发明使用图像特征点和点云数据,对混合现实设备与可移动机器人进行配准,在配准完成后,虚拟物体的位姿可以根据实际环境和设备状态进行实时调整,使机器反馈与人的感官相融合,给用户更加自然的使用体验。

Patent Agency Ranking