公开(公告)号：CN117133291A

公开(公告)日：2023-11-28

申请号：CN202311041736.9

申请日：2023-08-18

Applicant: 浙江大学

Inventor： 汪萍 ,  陈香萍 ,  陈丽 ,  乔丽杰 ,  朱冰燕 ,  孙艳亭 ,  钟娇娇

IPC: G10L15/25 ,  G10L15/30

Abstract: 本申请涉及一种基于唇语识别模型的口型识别方法和应用系统，通过在监护室的后台服务器上同时部署单一模态和多模态识别的唇语识别模型；利用监护室的音视频采集设备，采集监护室患者的嘴部摄像数据，并上传至后台服务器；后台服务器根据所述嘴部摄像数据的音视频类型，选择对应的唇语识别模型对所述所述嘴部摄像数据进行唇语识别，生成对应的唇语语句；输出所述唇语语句至前端，供医护人员参考。能够利用双工唇语识别的部署模型，对监护室患者的嘴部摄像数据进行唇语识别，以此实现对监护室患者的说话口型进行自动识别，识别出监护室病人在说什么话，便于医护人员及时根据识别的唇语语句判断病人想要表达的意图，方便对病人进行真实意图上的护理。