公开(公告)号：CN116978114A

公开(公告)日：2023-10-31

申请号：CN202310717233.2

申请日：2023-06-16

Applicant: 北京理工大学

Inventor： 李凡 ,  王钰森 ,  赵志远

IPC: G06V40/20 ,  G06V10/764 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明涉及一种利用智能手机的非接触式手语识别方法，属于移动计算应用技术领域。本发明利用手机内置扬声器发出人耳听不见的高频声音信号，该信号经过听障人士的手语动作反射，再由手机内置的麦克风接收。将接收信号经过处理，提取出整个过程的信道冲击响应。当用户表达不同手语动作时，整个信道的信道状态信息也并不相同，通过深度学习方法来识别这些信息对应的手语动作。本发明采用了细粒度的信道冲击响应特征识别出手指级别的手语动作，设计了一系列信号处理算法去除环境中的静态以及动态干扰。通过训练端到端神经网络模型时在两个单词间添加额外的标签，避免了手动对手语句子训练数据进行分割。本发明易于部署，用户体验好，不易受环境干扰。