公开(公告)号：CN118402800A

公开(公告)日：2024-07-30

申请号：CN202410393285.3

申请日：2024-04-02

Applicant: 同济大学

Inventor： 蒋烁 ,  卞楚原 ,  倪瑞鹏 ,  任弘奕 ,  刘卓明 ,  周坤豪 ,  宣思诚 ,  陈家毅

IPC: A61B5/389 ,  A61B5/397 ,  A61B5/00 ,  G06F18/25 ,  G06F18/241 ,  G06F18/10 ,  G06V40/20 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442 ,  G16H20/30 ,  G06F3/01

Abstract: 本发明人机交互和人工智能领域，尤其是涉及一种基于视觉与肌电信号融合的手部运动与意图识别方法，包括以下步骤：通过安装传感器采集表面肌电信号并进行预处理，得到表面肌电信号的特征值；通过摄像设备采集手部的图像信息并进行预处理，得到边界框；通过CNN‑LSTM网络对所述特征值和边界框进行分类；对分类之后的表面肌电信号和图像信息进行加权投票后处理；对表面肌电信号和图像信息进行实时分类处理；将识别出的手势结果进行对比识别条件判断；若满足对比识别条件，则识别出的手势结果的分类可信；若不符合，则记录分类结果，进入下一时间节点。与现有技术相比，本发明引入多模态输入信号，具有大幅提升模型精度和鲁棒性等优点。