公开(公告)号：CN113255602A

公开(公告)日：2021-08-13

申请号：CN202110726159.1

申请日：2021-06-29

Applicant: 江南大学

Inventor： 孙俊 ,  张艺楠 ,  毛力 ,  吴豪 ,  方伟 ,  吴小俊 ,  陈祺东 ,  李超 ,  冒钟杰

IPC: G06K9/00 ,  G06K9/46 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 基于多模态数据的动态手势识别方法，属于手势识别领域。本发明以3D卷积神经网络结构为基础，提出了一种多模态数据驱动的深度网络框架。首先，对于不同模态的输入数据，结合并优化多种有效的特征提取机制，大幅度压缩了网络规模，实现从连续图像序列中同时获得动态手势的空间和时域特征。其次，引入了一种新颖的并行分类器结构，能够充分利用所提取的多模态数据特征，从而有效提高模型的鲁棒性和识别准确率。为了验证所提出的网络框架的有效性，在多模态公开数据集SKIG上进行实验，达到了99.40％的识别准确率。结果表明，对于动态手势识别任务，该网络结构在较小的参数规模下实现了较好的识别能力。

公开(公告)号：CN112906453A

公开(公告)日：2021-06-04

申请号：CN202011494917.3

申请日：2020-12-17

Applicant: 江南大学

Inventor： 盛歆漪 ,  孙俊 ,  叶小寒 ,  王黎明 ,  张艺楠 ,  李世晟 ,  王心语

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及医疗设备领域，公开了一种智能识别并实时反馈的洗手监测系统。包括洗手动作识别评估模块、洗手监督模块、用户交互模块、身份识别模块、数据存储模块、控制模块；通过身份识别模块对医生进行身份识别；数据采集模块实时获取多模态洗手视频数据；预处理模块对采集的视频数据预处理；手势识别模块、手势评估模块，对数据进行分析比较，通过用户交互模块实时显示出评估结果；通讯模块将结果上传至数据库模块；医院通过洗手监督模块定期或随机采样，监测数据库模块内存储的数据以及专家评估结果，对系统进行监督训练。对医院环境中的洗手动作进行高效智能识别，并在洗手过程中实时反馈洗手问题，帮助医护人员在洗手过程中及时纠正问题。