公开(公告)号：CN113505694B

公开(公告)日：2024-03-26

申请号：CN202110776170.9

申请日：2021-07-09

Applicant: 南开大学

Inventor： 段峰 ,  宋卓超

IPC: G06V40/16 ,  G06V40/19 ,  G06V10/774 ,  G06V10/82 ,  G06V40/20 ,  G06N3/0464 ,  G06T3/02 ,  G06T7/80 ,  G06F3/01

Abstract: 本发明涉及人机交互领域，特别是涉及一种基于视线追踪的人机交互方法、装置及计算机设备。一种基于视线追踪的人机交互方法，包括如下步骤，采集图像，对图像进行预处理，得到双眼图像和人脸图像；将双眼图像和人脸图像输入到视线估计模型中，得到标准化空间下视线角度。本发明基于表观视线追踪的思路，利用常见的网络摄像头作为图像数据采集设备，使用一种改进的卷积神经网络估计出视线方向，然后映射到屏幕形成二维注视点，在交互界面移动注视点生成控制命令实现交互功能。

公开(公告)号：CN113505694A

公开(公告)日：2021-10-15

申请号：CN202110776170.9

申请日：2021-07-09

Applicant: 南开大学

Inventor： 段峰 ,  宋卓超

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06T3/00 ,  G06T7/80 ,  G06F3/01

Abstract: 本发明涉及人机交互领域，特别是涉及一种基于视线追踪的人机交互方法、装置及计算机设备。一种基于视线追踪的人机交互方法，包括如下步骤，采集图像，对图像进行预处理，得到双眼图像和人脸图像；将双眼图像和人脸图像输入到视线估计模型中，得到标准化空间下视线角度。本发明基于表观视线追踪的思路，利用常见的网络摄像头作为图像数据采集设备，使用一种改进的卷积神经网络估计出视线方向，然后映射到屏幕形成二维注视点，在交互界面移动注视点生成控制命令实现交互功能。