公开(公告)号：CN118675526A

公开(公告)日：2024-09-20

申请号：CN202410729452.7

申请日：2024-06-06

Applicant: 重庆邮电大学

Inventor： 李鹏华 ,  辛飞洋 ,  侯杰 ,  项盛 ,  徐浩翔 ,  刘晟伟

IPC: G10L15/25 ,  G10L15/00 ,  G10L15/06 ,  G06V40/16 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明涉及一种基于交叉注意力融合的视觉语音识别方法及系统，属于计算机交互技术领域。该方法包括以下步骤：采集和标注视频数据和音频数据；对视频数据进行预处理，提取出嘴部区域的图像帧和相应的面部标志点；使用深度学习模型分别提取图像帧和面部标志点的特征；通过交叉注意力机制融合图像帧和面部标志点的特征；将融合后的特征输入分类器，识别视频中的语音内容。本发明能够有效整合图像帧和面部标志点两种视觉特征，充分利用两种模态之间的互补关系，提升唇读系统的精度和鲁棒性。针对唇语识别需要处理视频中的时序信息，捕捉唇部运动的动态变化的问题，引入时间卷积网络作为序列解码器，能够捕捉视频序列中唇部运动的动态时序变化。