公开(公告)号：CN117021117A

公开(公告)日：2023-11-10

申请号：CN202311287066.9

申请日：2023-10-08

Applicant: 电子科技大学

Inventor： 赵洋 ,  常峻萌 ,  欧波 ,  黄清雨 ,  程洪 ,  詹慧琴

IPC: B25J9/16 ,  B25J13/00 ,  G06F3/01 ,  G06F3/04815 ,  G06F3/04842 ,  G06V20/20 ,  G06T7/73 ,  G06T19/00 ,  G06T17/20

Abstract: 本发明公开了一种基于混合现实的移动机器人人机交互与定位方法，属于人机交互领域。本发明通过手的指向与点击动作完成交互操作，使用户与机器人的交互方式更加符合人类行为习惯而自然有效，同时远程物体的隔空交互提升了交互过程的便捷性，此外机器人包围盒与真实空间表面模型对用户透明使得用户视角下用户能够直接与环境进行交互，增强了交互过程中人对机的直观感受。本发明提出的基于手部远程交互获取用户目标点的混合现实空间坐标加强了混合现实世界与真实世界的联系，使用户通过混合现实在不建立地图的情况下用简单手部动作快速标记和定位空间中任一点，大幅提升了目标点设立和定位的效率，让用户对移动机器人的任务分配和移动控制更加便捷。

公开(公告)号：CN117021117B

公开(公告)日：2023-12-15

申请号：CN202311287066.9

申请日：2023-10-08

Applicant: 电子科技大学

Inventor： 赵洋 ,  常峻萌 ,  欧波 ,  黄清雨 ,  程洪 ,  詹慧琴

IPC: B25J9/16 ,  B25J13/00 ,  G06F3/01 ,  G06F3/04815 ,  G06F3/04842 ,  G06V20/20 ,  G06T7/73 ,  G06T19/00 ,  G06T17/20

Abstract: 本发明公开了一种基于混合现实的移动机器人人机交互与定位方法，属于人机交互领域。本发明通过手的指向与点击动作完成交互操作，使用户与机器人的交互方式更加符合人类行为习惯而自然有效，同时远程物体的隔空交互提升了交互过程的便捷性，此外机器人包围盒与真实空间表面模型对用户透明使得用户视角下用户能够直接与环境进行交互，增强了交互过程中人对机的直观感受。本发明提出的基于手部远程交互获取用户目标点的混合现实空间坐标加强了混合现实世界与真实世界的联系，使用户通过混合现实在不建立地图的情况下用简单手部动作快速标记和定位空间中任一点，大幅提升了目标(56)对比文件CN 109634300 A,2019.04.16CN 110238857 A,2019.09.17CN 110480635 A,2019.11.22CN 111179341 A,2020.05.19CN 111507246 A,2020.08.07CN 111805546 A,2020.10.23CN 111857345 A,2020.10.30CN 112088070 A,2020.12.15CN 112381953 A,2021.02.19CN 113043282 A,2021.06.29CN 113478485 A,2021.10.08CN 114025700 A,2022.02.08CN 114281190 A,2022.04.05CN 114384848 A,2022.04.22CN 114527669 A,2022.05.24CN 114594792 A,2022.06.07CN 115351782 A,2022.11.18CN 116520991 A,2023.08.01EP 3411195 A1,2018.12.12JP 2014104527 A,2014.06.09JP 2014149640 A,2014.08.21KR 20170055687 A,2017.05.22KR 20220018795 A,2022.02.15US 2014361981 A1,2014.12.11US 2015002391 A1,2015.01.01US 2015190925 A1,2015.07.09US 2015367513 A1,2015.12.24US 2020026362 A1,2020.01.23US 2022339785 A1,2022.10.27US 9552056 B1,2017.01.24WO 2021073733 A1,2021.04.22WO 2022040954 A1,2022.03.03WO 2023016174 A1,2023.02.16赵洋等.智能汽车中人工智能算法应用及其安全综述《.电子科技大学学报》.2020,全文.陶建华等.多模态人机交互综述《.中国图像图形学报》.2022,全文.

公开(公告)号：CN117036649A

公开(公告)日：2023-11-10

申请号：CN202310684557.0

申请日：2023-06-09

Applicant: 电子科技大学

Inventor： 赵洋 ,  程洪 ,  欧波 ,  黄清雨 ,  常俊萌 ,  古顺吉

IPC: G06T19/00 ,  G06T17/05 ,  G06F3/01

Abstract: 本发明属于人机交互领域，具体为一种基于混合现实技术的三维地图显示与交互的方法。利用无人机倾斜摄影图像建立实景三维地图模型。将实景三维地图模型导入混合现实平台，并将软件中的空间坐标系XYZ坐标，与实景三维地图模型中的经纬度坐标做转换映射，得到混合现实三维地图。然后让使用者操作无人车模型在混合现实场景中完成各种形式下的交互方式，以获取用于控制真实世界中车辆的动作控制指令；并在此过程中，利用真实环境下的GPS信息，在混合现实三维地图中的对无人车模型进行定位。实现了用户、三维地图与无人车模型在地图中的定位显示与交互。从而获得了在二维地图进行交互中不具备的高度等信息，提升了定位精度和用户使用体验。