公开(公告)号：CN116501169A

公开(公告)日：2023-07-28

申请号：CN202310402035.7

申请日：2023-04-14

Applicant: 南京工业大学

Inventor： 梅雪 ,  周创 ,  何毅

IPC: G06F3/01 ,  G06V30/228 ,  G06V40/20 ,  G06V10/764

Abstract: 本发明提供了一种面向工业MR的虚拟界面手势交互方法及系统。用户佩戴MR设备，视角下显示虚拟界面，通过启动手势开启设备交互功能。对用户依次比划的手写动作进行实时视频采集，并将视频数据无线传输至服务器端；在服务器端使用深度网络模型对视频动作序列进行识别并依次解码获得各个手写动作的字符含义；将解码出的多个手写动作所代表的字符含义组合成指令，对MR系统的虚拟界面进行实时信息操控；采用本发明的方法和系统，只需用户在MR场景下用手在空中比划出想要执行的控制命令所对应的字符组合，设备就能自动识别得知用户意图，从而实现对虚拟界面交互控制，能在嘈杂环境下代替语音控制指令满足工业MR场景的便捷交互需求。

公开(公告)号：CN118736481A

公开(公告)日：2024-10-01

申请号：CN202410674484.1

申请日：2024-05-28

Applicant: 南京工业大学

Inventor： 梅雪 ,  周创 ,  吴文源 ,  何毅 ,  刘芃 ,  李腾 ,  唐钺梦 ,  许恒玮 ,  赵文成

IPC: G06V20/52 ,  G06V20/40 ,  G06V10/774 ,  G06V10/44 ,  G06V10/80 ,  G06V20/60 ,  G06V40/10 ,  G06V10/46 ,  G06V10/82

Abstract: 本发明申请提供一种实验室场景下，化学实验操作的规范性评判方法及系统，包括：采集多视角多场景规范操作视频与实验仪器、器皿图片，制作数据集并训练识别模型；将完整视频流划分为多个实验阶段，并得到实际实验操作的顺序，根据实验标准操作流程顺序评判流程规范性，得到第一评判结果；确定实验子流程中的实验操作持续时间，确定手部相对实验仪器的抓握位置，根据操作持续时间和操作仪器的抓握位置进行规范性评判，得到第二评判结果；提取手部骨骼关键点，利用模型分类得到动作类别，并对手部细节操作动作进行规范性评价，得到第三评判结果；对多个评判过程依次获取评判结果，并根据多个评判结果综合得出整体操作评价。通过本申请，能够对实验漏操作、误操作、操作顺序错误进行自动识别，提高实验操作规范性评判的效率和监管能力。