公开(公告)号：CN114842547A

公开(公告)日：2022-08-02

申请号：CN202210029311.5

申请日：2022-01-11

Applicant: 南京工业大学

Inventor： 梅雪 ,  陈玉明 ,  张启航 ,  姚彦胤 ,  秦午阳

IPC: G06V40/20 ,  G06V10/25 ,  G06V10/74 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06V10/94 ,  G06V10/96 ,  G06N3/04 ,  G06N3/08 ,  G09B21/04 ,  G06K9/62

Abstract: 本发明公开了一种基于手势动作生成与识别的手语教学方法、装置及系统，属于计算机视觉与模式识别领域。本发明包括通过T‑G姿态生成网络对手语语句文本进行训练，生成姿态生成模型，并利用ThreeDPose姿态迁移技术生成3D虚拟人物动作视频进行手语教学，供学习者模仿；然后利用双流VTN网络对手语数据集进行训练，生成手语翻译模型，并对学习者的动作与标准库手语教学动作进行相似度评估，反馈学习效果。本发明的装置及系统是根据所提供的方法进行手语教学的。利用本发明，丰富了聋哑人教学的模式，能够方便聋哑人士自主学习手语并提高了学习的兴趣，保证了手语教学的效率和质量。

公开(公告)号：CN114842547B

公开(公告)日：2024-12-03

申请号：CN202210029311.5

申请日：2022-01-11

Applicant: 南京工业大学

Inventor： 梅雪 ,  陈玉明 ,  张启航 ,  姚彦胤 ,  秦午阳

IPC: G06V40/20 ,  G06V10/25 ,  G06V10/74 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06V10/94 ,  G06V10/96 ,  G06N3/0475 ,  G06N3/084 ,  G06N3/094 ,  G09B21/04

Abstract: 本发明公开了一种基于手势动作生成与识别的手语教学方法、装置及系统，属于计算机视觉与模式识别领域。本发明包括通过T‑G姿态生成网络对手语语句文本进行训练，生成姿态生成模型，并利用ThreeDPose姿态迁移技术生成3D虚拟人物动作视频进行手语教学，供学习者模仿；然后利用双流VTN网络对手语数据集进行训练，生成手语翻译模型，并对学习者的动作与标准库手语教学动作进行相似度评估，反馈学习效果。本发明的装置及系统是根据所提供的方法进行手语教学的。利用本发明，丰富了聋哑人教学的模式，能够方便聋哑人士自主学习手语并提高了学习的兴趣，保证了手语教学的效率和质量。