公开(公告)号：CN119810914A

公开(公告)日：2025-04-11

申请号：CN202411872081.4

申请日：2024-12-18

Applicant: 南京大学

Inventor： 冯桂焕 ,  张欣宇 ,  单心源 ,  何青云 ,  陆钇廷 ,  倪奕晨

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06V20/40 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种结合声调信息的中文唇语识别方法，属于唇语识别领域，该方法包括以下步骤：获取用户输入，其中，所述用户输入包括声调信息和嘴部动作视频；对所述用户输入进行预处理得到预处理数据；构建多模态中文唇读模型，将所述预处理数据输入所述多模态中文唇读模型得到唇语识别结果。本发明结合声调信息与唇读识别技术，通过深入分析视觉信息并结合语言学知识，构建包含声调信息的唇读识别模型，提高识别准确性。