公开(公告)号：CN116884412A

公开(公告)日：2023-10-13

申请号：CN202310835916.8

申请日：2023-07-07

Applicant: 重庆邮电大学

Inventor： 李鹏华 ,  苏沁伟 ,  项盛 ,  侯杰 ,  茹懿 ,  吕涛 ,  尹绍云

IPC: G10L15/25 ,  G10L15/16 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于混合三维残差门控循环单元的唇语识别方法，属于唇语识别领域，包括以下步骤：S1：以唇部图像特征序列为对象，设计混合数据训练，对数据进行增强；S2：以采用融合残差和时空卷积的网络作为前端网络，以产生序列的最终表示；S3：构建基于序列信息门控网络的后端网络，对唇语进行识别。本发明解决了唇语识别中常见的唇形相似性高、数据量少的难题。

公开(公告)号：CN116863045A

公开(公告)日：2023-10-10

申请号：CN202310829882.1

申请日：2023-07-07

Applicant: 重庆邮电大学

Inventor： 李鹏华 ,  谢潇 ,  侯杰 ,  项盛 ,  张涛 ,  胡滨 ,  尹绍云

IPC: G06T13/40 ,  G06T13/20 ,  G06F18/25 ,  G06F18/2431 ,  G06V40/16 ,  G06V10/80 ,  G06V10/82 ,  G10L15/02 ,  G10L15/06 ,  G10L15/16 ,  G10L21/10 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0495 ,  G06N3/0464 ,  G06N3/082

Abstract: 本发明涉及一种轻量级语音驱动三维脸部模型生成方法，属于三维模型生成领域，包括以下步骤：S1：在语音信号解码器端采用基于一维深度可分离卷积的语音特征编码模块提取语音特征序列对象；S2：采用剪枝后的深度全连接与长短期记忆神经模块耦合后的脸部表示特征编码器，对脸部表示进行解码操作，得到潜在脸部表示特征；S3：最后用剪枝后的多层感知器耦合两个特征序列生成潜在分类多头向量特征，实现对编码网络高维分类特征序列的解码。

公开(公告)号：CN117672218A

公开(公告)日：2024-03-08

申请号：CN202311591964.3

申请日：2023-11-27

Applicant: 重庆邮电大学

Inventor： 李鹏华 ,  谢潇 ,  利节 ,  侯杰 ,  项盛 ,  尹绍云

IPC: G10L15/22 ,  G10L15/06 ,  G10L15/183 ,  G10L15/16

Abstract: 本发明涉及一种基于多头注意力机制和时延神经网络的语音识别方法，属于语音识别技术领域。本发明针对已有低资源语音识别模型单一，长序列上下文依赖捕获能力差、局部特征提取能力不足的问题。本发明将通过对比学习、时延神经网络等方法提高自监督低资源语音识别模型特征提取能力。针对目标域标注数据稀缺的情景，传统的低资源语音识别模型由于训练数据和测试数据的不匹配的影响，通常难以在高维潜在空间中找到更加理想的片段语音到字元的维特比对齐，最终导致了模型的健壮性不理想。本研究拟定通过数据增强的方法对未标注数据进行理想分布拓展，降低了未标注数据的概念偏移量，加强了未标注数据的可靠性。