轻量级多说话人语音合成系统及电子设备

    公开(公告)号:CN112133282A

    公开(公告)日:2020-12-25

    申请号:CN202011159299.7

    申请日:2020-10-26

    Applicant: 厦门大学

    Inventor: 李琳 李松 洪青阳

    Abstract: 一种轻量级多说话人语音合成系统及电子设备,该系统包括:文本特征提取和规整模块、说话人特征提取模块、特征融合模块和语音生成模块。文本特征提取和规整模块用于采用轻量级编码器将待处理的文本信息进行编码和特征提取,并采用轻量级时长预测网络对轻量级编码器输出的文本深层特征对应的每个词或音素进行时长预测,以及用于进行长度规整处理,以得到与目标梅尔频谱长度相等的规整的文本特征。说话人特征提取模块用于生成能够表征目标说话人的特征。特征融合模块用于将目标说话人的特征与规整的文本特征进行融合。语音生成模块用于将融合后的特征进行深层特征提取、维度映射、残差整合以及生成语音。该系统支持多说话人语音合成且合成速度快。

    人脸图像的超分辨率恢复方法、存储介质和电子设备

    公开(公告)号:CN115456873A

    公开(公告)日:2022-12-09

    申请号:CN202210993646.9

    申请日:2022-08-18

    Applicant: 厦门大学

    Abstract: 本发明提供了一种人脸图像的超分辨率恢复方法、存储介质和电子设备,所述方法包括:接收待处理的人脸图像;通过双重注意力模块对人脸图像进行第一处理,得到人脸图像的第一结构信息图像;通过人脸关键点激活模块对第一结构信息进行第二处理,激活人脸图像上的关键点信息,得到第二结构信息图像;通过频域感知分解判别器在频域空间对第二结构信息图像,识别第二结构信息图像和真实图像之间的频域样式的不同,并基于不同的频域样式得到相应的置信度信息。上述方案能够精细化恢复人脸的关键位置,进一步提升人脸图像上的结构信息,使得恢复人脸感官上的效果更好。

    提升人脸图像分辨率的方法、存储介质和电子设备

    公开(公告)号:CN115456872A

    公开(公告)日:2022-12-09

    申请号:CN202210992579.9

    申请日:2022-08-18

    Applicant: 厦门大学

    Abstract: 本发明提供了一种提升人脸图像分辨率的方法、存储介质和电子设备,所述方法包括:接收待处理的人脸图像;通过空间注意力网络恢复人脸图像的部分结构信息,得到中间特征图;通过人脸属性预测模块预测人脸的属性信息,以及通过三维人脸重建分支模块预测人脸三维结构的先验信息;对中间特征图、人脸的属性信息、人脸三维结构的先验信息进行融合,得到高分辨率的人脸图像。本发明通过在人脸图像分辨率恢复过程中引入人脸的属性信息和人脸三维结构的先验信息进行融合,能够有效突出人脸图像的纹理细节,提升人脸图像的恢复效果。

    轻量级多说话人语音合成系统及电子设备

    公开(公告)号:CN112133282B

    公开(公告)日:2022-07-08

    申请号:CN202011159299.7

    申请日:2020-10-26

    Applicant: 厦门大学

    Inventor: 李琳 李松 洪青阳

    Abstract: 一种轻量级多说话人语音合成系统及电子设备,该系统包括:文本特征提取和规整模块、说话人特征提取模块、特征融合模块和语音生成模块。文本特征提取和规整模块用于采用轻量级编码器将待处理的文本信息进行编码和特征提取,并采用轻量级时长预测网络对轻量级编码器输出的文本深层特征对应的每个词或音素进行时长预测,以及用于进行长度规整处理,以得到与目标梅尔频谱长度相等的规整的文本特征。说话人特征提取模块用于生成能够表征目标说话人的特征。特征融合模块用于将目标说话人的特征与规整的文本特征进行融合。语音生成模块用于将融合后的特征进行深层特征提取、维度映射、残差整合以及生成语音。该系统支持多说话人语音合成且合成速度快。

Patent Agency Ranking