公开(公告)号：CN119649813A

公开(公告)日：2025-03-18

申请号：CN202510171203.5

申请日：2025-02-17

Applicant: 苏州大学

Inventor： 汪磊 ,  彭程 ,  王令

IPC: G10L15/24 ,  G10L21/01 ,  G10L21/0208 ,  G10L21/0356 ,  G10L25/24 ,  H04M1/72403 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种基于深度学习的手机端面部动作恢复语音方法及系统，涉及语音处理技术领域，该方法包括调用手机加速度传感器实时同步采集面部加速度与语音数据并传输至电脑；在电脑端接收、对齐、存储数据并去噪以增强信噪比；构建模型，先由U‑Net模型将加速度信号转成4khz采样率的语音信号，再经SR‑model超分模型生成16khz采样率的语音信号；把处理后的面部加速度信号输入训练好的深度学习模型，生成语音并按需传出。本发明有效解决现有问题，实现从面部动作到语音的恢复，具有良好应用前景。

公开(公告)号：CN119649814A

公开(公告)日：2025-03-18

申请号：CN202510171270.7

申请日：2025-02-17

Applicant: 苏州大学

Inventor： 汪磊 ,  王令 ,  彭程

IPC: G10L15/24 ,  G10L19/02 ,  G10L19/16 ,  G10L21/01 ,  G10L21/0356 ,  G10L25/18 ,  G10L25/24 ,  G10L25/30 ,  G06N3/0464

Abstract: 本发明提供一种基于卷积加注意力机制的手机端面部动作恢复语音系统，涉及语音处理技术领域，该系统包括数据采集模块、数据处理模块、模型训练模块和语音生成模块。数据采集模块调用手机加速度传感器实时同步采集面部加速度与语音数据并传输至电脑；数据处理模块在电脑端接收、对齐、存储数据并去噪以增强信噪比；模型训练模块构建模型，先由卷积神经网络注意力模型将加速度数据转成梅尔语谱图，再经声码器生成语音；语音生成模块把处理后的面部加速度数据输入训练好的模型，生成语音并按需传出。该系统有效解决现有问题，实现从面部动作到语音的恢复，具有良好应用前景。