公开(公告)号：CN114898464B

公开(公告)日：2023-04-07

申请号：CN202210502602.1

申请日：2022-05-09

Applicant: 南通大学

Inventor： 张堃 ,  刘志诚 ,  徐沛霞 ,  林鹏程 ,  刘纪元 ,  涂鑫涛 ,  任婉莹 ,  韩宇

IPC: G06V40/20 ,  G06V10/10 ,  G06V10/22 ,  G06V10/40 ,  G06V10/46 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于手语识别技术领域，具体涉及一种基于机器视觉的轻量化精准手指语智能算法识别方法，具体步骤包括：第一步单目相机采集图像信息，以Finger‑YOLOv4算法对采集的图像信息处理，框选出手部的区域；第二步在框选的手部区域内基于稀疏性目标提取算法锁定操作人员手部区域排除非操作人员手部干扰；第三步在操作人员手部区域内基于DFCRF‑Net进行深度学习，识别出手部区域的21个关键点的坐标；第四步根据21个关键点坐标的位置关系采用强制坐标法推理出当前手势表达的手指语。本发明提出的算法架构轻量化，仅需单目相机即可部署，检测速度快、精度高；经过不同环境、操作人员的测试，该智能算法识别方法可以有效的识别出全部手指语手势。

公开(公告)号：CN114898464A

公开(公告)日：2022-08-12

申请号：CN202210502602.1

申请日：2022-05-09

Applicant: 南通大学

Inventor： 张堃 ,  刘志诚 ,  徐沛霞 ,  林鹏程 ,  刘纪元 ,  涂鑫涛 ,  任婉莹 ,  韩宇

IPC: G06V40/20 ,  G06V10/10 ,  G06V10/22 ,  G06V10/40 ,  G06V10/46 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于手语识别技术领域，具体涉及一种基于机器视觉的轻量化精准手指语智能算法识别方法，具体步骤包括：第一步单目相机采集图像信息，以Finger‑YOLOv4算法对采集的图像信息处理，框选出手部的区域；第二步在框选的手部区域内基于稀疏性目标提取算法锁定操作人员手部区域排除非操作人员手部干扰；第三步在操作人员手部区域内基于DFCRF‑Net进行深度学习，识别出手部区域的21个关键点的坐标；第四步根据21个关键点坐标的位置关系采用强制坐标法推理出当前手势表达的手指语。本发明提出的算法架构轻量化，仅需单目相机即可部署，检测速度快、精度高；经过不同环境、操作人员的测试，该智能算法识别方法可以有效的识别出全部手指语手势。