公开(公告)号：CN116580451A

公开(公告)日：2023-08-11

申请号：CN202310434423.3

申请日：2023-04-21

Applicant: 哈尔滨工程大学

Inventor： 朱齐丹 ,  李京 ,  袁菲 ,  甘权

IPC: G06V40/20 ,  G06V10/62 ,  G06V10/40 ,  G06V10/52 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/096 ,  G06N3/045 ,  G06N3/047

Abstract: 本发明公开了一种基于交叉分辨率知识蒸馏的连续手语识别方法，包括以下步骤：S1:对输入的连续手语视频数据进行预处理；S2:将高分辨率连续手语视频输入到教师网络多尺度时序特征网络MSTNet进行训练；S3:搭建学生网络低分辨率输入网络LRINet；S4:将高分辨率连续手语视频输入到锁定权值的MSTNet网络，将低分辨率连续手语视频输入到LRINet网络，采用混合损失函数对LRINet网络进行训练；S5:锁定LRINet网络权值，使用此网络对低分辨率连续手语视频进行识别。本发明提供的基于交叉分辨率知识蒸馏的连续手语识别方法，能够以低分辨率连续手语视频作为输入，在保证识别精度的同时降低了模型的参数量、计算量和推理时间，达到了性能和精度的平衡。