公开(公告)号：CN115562490B

公开(公告)日：2024-01-09

申请号：CN202211246364.9

申请日：2022-10-12

Applicant: 西北工业大学太仓长三角研究院

Inventor： 赵凯星 ,  刘灿 ,  林泓 ,  董婉婷 ,  雷亚雄 ,  贺亮

IPC: G06F3/01 ,  G06V40/18 ,  G06V10/82 ,  G06N3/045

Abstract: 本发明公开了一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统，包括以下步骤：步骤S1：采用大规模视线识别的方法获取眼动训练集；步骤S2：通过视觉Transformer的深度学习方法不断对眼动训练集进行训练，获得眼动信息；步骤S3：根据眼动信息进行若干个屏幕的用户眼动校对，获得若干屏幕相对位置；步骤S4：根据用户的实时眼动数据、屏幕相对位置计算用户眼动焦点匹配的屏幕，获得眼动焦点屏幕；步骤S5：根据眼动焦点屏幕实时激活匹配的飞机驾驶舱显控系统屏幕，执行预设交互操作。本发明的飞机驾驶舱跨屏眼动交互方法能够面向复杂飞(56)对比文件US 2020134295 A1,2020.04.30WO 2022095440 A1,2022.05.12Changyuan Wang等.Transformer NetworkIntelligent Flight Situation AwarenessAssessment Based on Pilot Visual GazeandOperation Behavior Data《.InternationalJournal of Pattern Recognition andArticial Intelligence》.2022,全文.姬鸣等.飞行座舱人因设计中的眼动追踪技术应用《.包装工程》.2021,全文.

公开(公告)号：CN115562490A

公开(公告)日：2023-01-03

申请号：CN202211246364.9

申请日：2022-10-12

Applicant: 西北工业大学太仓长三角研究院

Inventor： 赵凯星 ,  刘灿 ,  林泓 ,  董婉婷 ,  雷亚雄 ,  贺亮

IPC: G06F3/01 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统，包括以下步骤：步骤S1：采用大规模视线识别的方法获取眼动训练集；步骤S2：通过视觉Transformer的深度学习方法不断对眼动训练集进行训练，获得眼动信息；步骤S3：根据眼动信息进行若干个屏幕的用户眼动校对，获得若干屏幕相对位置；步骤S4：根据用户的实时眼动数据、屏幕相对位置计算用户眼动焦点匹配的屏幕，获得眼动焦点屏幕；步骤S5：根据眼动焦点屏幕实时激活匹配的飞机驾驶舱显控系统屏幕，执行预设交互操作。本发明的飞机驾驶舱跨屏眼动交互方法能够面向复杂飞行场景，且提升飞行员跨屏交互的效率和用户体验。