-
公开(公告)号:CN110837792B
公开(公告)日:2023-07-25
申请号:CN201911064467.1
申请日:2019-11-04
Applicant: 东南大学
IPC: G06V40/20 , G06V40/10 , G06V10/774 , G06V10/84
Abstract: 本发明公开了一种三维手势识别方法及装置,该方法包括:(1)采集静态手势,并根据建立的手部空间坐标系进行手部位置表示;(2)以静态手势的骨节方向信息作为手势识别的观测值特征序列,并对不同角度和位置下的静态手势对应的手势识别观测值特征序列预处理;(3)采用GMM‑HMM模型对静态手势对应的观测序列进行识别;(4)根据等待模型对动态手势进行识别;(5)在用户使用时收集用户个体的手势数据,并利用该数据对GMM‑HMM模型进行迁移训练,形成针对于每个用户的模型。本发明所述的归一化的方法是在特征序列的基础上来的,它能够在保留完整数据的情况下很方便且准确的实现归一化,使得识别准确率升高。
-
公开(公告)号:CN114995635A
公开(公告)日:2022-09-02
申请号:CN202210485037.2
申请日:2022-05-06
Applicant: 东南大学
IPC: G06F3/01 , G06F3/0485 , G06F3/04883
Abstract: 本发明公开了一种基于混合现实桌面手势交互方法,涉及混合现实技术领域,解决了裸手交互易疲劳且效率不高的技术问题,其技术方案要点是利用计算机视觉技术实时监测用户桌面手指动作,允许用户通过桌面小范围手指动作与混合现实交互系统产生交互行为,大幅降低交互疲劳,提升交互速度,并且不干涉其他手势交互技术,具有较强的技术兼容性,满足需要频繁交互、长期交互的混合现实场景需求。
-
公开(公告)号:CN114995634A
公开(公告)日:2022-09-02
申请号:CN202210485007.1
申请日:2022-05-06
Applicant: 东南大学
Abstract: 本发明公开了一种基于虚拟现实桌面手势交互系统,涉及虚拟现实技术领域,解决了用户在与虚拟环境交互过程中的交互动作幅度较大且交互效率不高的技术问题,其技术方案要点是缩小用户在与虚拟环境交互过程中的交互动作幅度,贴合人体生物力学性能,降低交互疲劳,提高交互效率;简化硬件结构,缩小硬件体积,确保硬件系统可随身携带;桌面手势交互作为独立的交互系统并不干涉其他手势交互方式(例如空中手势交互、虚拟手接触点击交互等),具有良好的技术兼容性。同时,基于计算机视觉技术的桌面手势识别算法通过对桌面图像干扰针对性分类处理,大幅提升手势识别准确率。
-
公开(公告)号:CN108491068A
公开(公告)日:2018-09-04
申请号:CN201810127171.9
申请日:2018-02-08
Applicant: 东南大学
IPC: G06F3/01 , G06F3/0481 , G06F3/0487
CPC classification number: G06F3/013 , G06F3/04817 , G06F3/0487
Abstract: 本发明公开了一种眼动信号控制的交互方法,该方法包括以下步骤:(1)对获取的功能图标进行预处理;(2)对眼动信号进行数字编码;(3)存储功能图标的眼动信号数组;(4)采集、输出、计算和识别所述眼动信号;(5)被试者确认眼动指令;所述图标预处理包括对所述功能图标进行数字编码,每个功能图标对应一个唯一的数字编号i,所述数字编号i的位数w为[1,4]区间上的整数,当w≥2时,数字编号的相邻数字间不重复,按照所述功能图标的使用频率m对所述功能图标进行数字编码。本发明直接采集人对不同图标图片的眼动信号,依据眼动信号的不同实现了图标对数字界面的眼机交互,提高了数字界面的交互效率。
-
公开(公告)号:CN119336165A
公开(公告)日:2025-01-21
申请号:CN202411398953.8
申请日:2024-10-09
Applicant: 东南大学
IPC: G06F3/01 , G06F18/243 , G06V10/764 , G06T19/00 , G06V40/20
Abstract: 本发明公开了一种用于虚拟现实环境下空中手势旋转操作的显示方法,涉及手势交互技术领域,解决了不能根据用户实时输入的手势运动数据对虚拟物体的旋转进行精确控制的技术问题,其技术方案要点对手势位置数据进行采集;根据手势位置数据对固定时间双手连线向量所形成平面的法向量和夹角进行计算,并将法向量和夹角转换为手势旋转方向的欧拉角坐标和手势旋转角速度;将手势旋转方向的欧拉角坐标和手势旋转角速度输入至显控映射模型,得到虚拟物体的旋转方向和旋转速度;根据虚拟物体的旋转方向和旋转速度在虚拟现实设备上对虚拟物体的转动进行显示。该方法支持在虚拟现实中采用裸手完成可达域外物体的旋转控制,交互自然流畅且具有行为上的可解释性;引入机器学习方法,对用户的手势旋转方向进行智能识别和判断,提高了交互的准确性;将动态非同构映射机制应用到空中手势旋转控制操作中,显著提升手势控制的精确度。
-
公开(公告)号:CN112181132B
公开(公告)日:2024-05-28
申请号:CN202010857330.8
申请日:2020-08-24
Applicant: 东南大学
Abstract: 本发明公开了一种虚拟环境中基于射线交互任务的模型评估方法及系统,涉及交互任务模型评估技术领域,解决了现有虚拟人机交互中射线交互任务不能进行量化评估的技术问题,其技术方案要点是首先对用户交互任务进行分析得到用户交互行为,再对用户交互行为进行研究确定用户基本动素。为用户基本动素配置交互规则,同时分析测算用户基本动素的交互时间以及系统动作时间,根据交互时间、交互规则和系统动作时间预估完成用户交互任务的总时间,最后根据总时间对交互任务进行评估。使得基于射线的交互任务实现了量化评估,从而帮助相关从业人员更科学地设计基于射线的交互模型,为在虚拟环境下进行射线交互任务的人员提供更流畅舒适的交互体验。
-
公开(公告)号:CN116820233A
公开(公告)日:2023-09-29
申请号:CN202310640334.4
申请日:2023-06-01
Applicant: 东南大学
IPC: G06F3/01 , G06N3/0442 , G06N3/084
Abstract: 本发明公开了一种虚拟现实中基于手眼数据进行指向预测的方法,涉及计算机技术领域,解决了基于手眼数据的交互目标预测准确性不高的技术问题,其技术方案要点是通过手、眼双模态数据在指向运动中的规律性,提出了手眼协同运动模型,并基于该手眼协同运动模型进行交互意图判断。该方法可以提升交互目标进行预测的准确性和时效性,为机器更好地理解用户的操作,并做出及时的反馈提供了技术基础。
-
公开(公告)号:CN116700480A
公开(公告)日:2023-09-05
申请号:CN202310614017.5
申请日:2023-05-29
Applicant: 东南大学
Abstract: 本发明公开了一种面向场景的自然手势设计方法,涉及手势交互技术领域,其技术方案要点是考虑了使用场景的因素,并提出了基于手势差异性的手势筛选方法,弥补了目前手势设计方法中不考虑使用场景和不考虑系统手势干涉的缺陷,增加了特定场景中手势的自然性,并提高了特定场景中自然手势的可用性和易学性,从而显著提升了用户使用体验。由于编码对手势进行了参数的标准化,因此能够实现对获取的被格式化存储的手势进行量化分析,在开发过程中开发者筛选出人感知差异大的同时动作差异也大,且计算机容易辨别区分的手势,补足了现有手势设计中场景设计方法和差异性筛选规则,为自然手势交互从实验室研究泛化到各种实际的场景中奠定基础。
-
公开(公告)号:CN114049800A
公开(公告)日:2022-02-15
申请号:CN202111200398.X
申请日:2021-10-15
Applicant: 东南大学
IPC: G09B5/00
Abstract: 本发明公开了一种混合现实环境下的深度感知实验平台及其实验方法,涉及混合现实设备技术领域,解决了现有的深度感知实验平台不能兼顾虚拟环境和真实环境的距离标定的技术问题,其技术方案要点是配合增强现实设备使用,可以同时看到该平台上的真实标志物以及增强现实设备中显示的虚拟标志物。因为混合现实环境下形成虚拟图像的显示机理和真实世界不同,导致人们对真实物体和虚拟物体的感知距离和其实际与人眼之间的物理距离存在差异。目前尚缺乏一种可以测定真实物体和虚拟物体的物理距离和深度感知距离差异量值的仪器。通过该实验平台记录两者深度感觉相同时的坐标位置差异,从而研究不同视觉影响因素对真实和虚拟物体深度感知差异的影响机制。
-
公开(公告)号:CN112181134A
公开(公告)日:2021-01-05
申请号:CN202010858351.1
申请日:2020-08-24
Applicant: 东南大学
Abstract: 本发明公开了一种虚拟环境中基于手指点击交互任务的模型评估方法及系统,涉及交互任务模型评估技术领域,解决了现有虚拟环境中基于手指点击的交互任务不能进行量化评估的技术问题,其技术方案要点是首先对用户交互任务进行分析得到用户交互行为,再对用户交互行为进行研究确定用户基本动素。为用户基本动素配置交互规则,同时分析测算用户基本动素的交互时间以及系统反馈时间,根据交互时间、交互规则和系统反馈时间预估完成用户交互任务的总时间,最后根据总时间对交互任务进行评估。使得基于手指点击的交互任务实现了量化评估,从而帮助相关从业人员更科学地设计基于手指点击的交互模型,为在虚拟环境下进行手指点击交互任务的人员提供更流畅舒适的交互体验。
-
-
-
-
-
-
-
-
-