公开(公告)号：CN114995635A

公开(公告)日：2022-09-02

申请号：CN202210485037.2

申请日：2022-05-06

Applicant: 东南大学

Inventor： 张瑞升 ,  周小舟 ,  宗承龙 ,  薛澄岐 ,  牛亚峰

IPC: G06F3/01 ,  G06F3/0485 ,  G06F3/04883

Abstract: 本发明公开了一种基于混合现实桌面手势交互方法，涉及混合现实技术领域，解决了裸手交互易疲劳且效率不高的技术问题，其技术方案要点是利用计算机视觉技术实时监测用户桌面手指动作，允许用户通过桌面小范围手指动作与混合现实交互系统产生交互行为，大幅降低交互疲劳，提升交互速度，并且不干涉其他手势交互技术，具有较强的技术兼容性，满足需要频繁交互、长期交互的混合现实场景需求。

公开(公告)号：CN114995634A

公开(公告)日：2022-09-02

申请号：CN202210485007.1

申请日：2022-05-06

Applicant: 东南大学

Inventor： 张瑞升 ,  周小舟 ,  宗承龙 ,  薛澄岐 ,  牛亚峰

IPC: G06F3/01 ,  G06V10/22 ,  G06V10/24 ,  G06V10/28 ,  G06V10/44 ,  G06V40/20

Abstract: 本发明公开了一种基于虚拟现实桌面手势交互系统，涉及虚拟现实技术领域，解决了用户在与虚拟环境交互过程中的交互动作幅度较大且交互效率不高的技术问题，其技术方案要点是缩小用户在与虚拟环境交互过程中的交互动作幅度，贴合人体生物力学性能，降低交互疲劳，提高交互效率；简化硬件结构，缩小硬件体积，确保硬件系统可随身携带；桌面手势交互作为独立的交互系统并不干涉其他手势交互方式(例如空中手势交互、虚拟手接触点击交互等)，具有良好的技术兼容性。同时，基于计算机视觉技术的桌面手势识别算法通过对桌面图像干扰针对性分类处理，大幅提升手势识别准确率。

公开(公告)号：CN119150069A

公开(公告)日：2024-12-17

申请号：CN202411181378.6

申请日：2024-08-27

Applicant: 东南大学

Inventor： 周小舟 ,  张瑞升 ,  裘旭益 ,  韩己臣

IPC: G06F18/24 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/045

Abstract: 本发明公开了一种面向复杂任务情境的多层级人机交互意图识别方法，涉及人机交互意图识别技术领域，解决了复杂任务情境下的多层级人机交互意图识别准确率不高以及和对任务阶段解释性低的技术问题，其技术方案要点提出了一种适用于复杂任务情境的多层级意图识别框架，将任务分析方法和机器学习方法相结合，既具备对于人的行为和上下文信息的敏感性，又具备可解释性。其输入数据为容易捕获的人的行为数据和机器传感器能够采集的态势数据，具有不干扰人机系统工作进程的优势和可操作性。通过同时融合人的行为、环境和任务上下文特征，从底层数据逐层向上识别人的多层级意图，实现了系统对人的真实意图更全面的理解，有效解决现有方法从单一层级、仅根据人的行为特征开展意图识别等方面的局限性，提高了多层级意图识别的准确率，同时实现多层级意图的可解释性建模。