公开(公告)号：CN119047568A

公开(公告)日：2024-11-29

申请号：CN202410909803.2

申请日：2024-07-08

Applicant: 上海交通大学宁波人工智能研究院

Inventor： 林轩睿 ,  任佳伟 ,  张浩天 ,  王冠

IPC: G06N5/04 ,  G06N3/0455 ,  G06N3/0464 ,  G06F18/25 ,  G06F18/213 ,  G06F40/35 ,  G06V40/20 ,  G06V40/16 ,  G06V20/40 ,  G06V10/44 ,  G06V10/62

Abstract: 本发明公开了一种唇语识别及语义理解系统，涉及自然语言处理技术领域，包括文本特征提取模块、唇语视频特征提取模块和大语言模型解码模块，文本特征提取模块、唇语视频特征提取模块分别和大语言模型解码模块通信连接；本发明还公开了一种唇语识别及语义理解方法，包括：S100、文本融合特征提取，S200、唇语视频特征提取，S300、语义理解，步骤S100和步骤S200为并列关系。本发明能够在不同场景、不同人群中得到广泛应用，满足多样化的实际需求，推动了唇语识别技术的发展。