一种端到端的音色及情感迁移的中文语音克隆方法

    公开(公告)号:CN115359775B

    公开(公告)日:2025-05-16

    申请号:CN202210846358.0

    申请日:2022-07-05

    Abstract: 本发明公开了一种端到端的音色及情感迁移的中文语音克隆方法,步骤如下:采集用户录制的中文语音作为训练数据,提取出所需的语音特征;训练语音克隆合成模型,包括音色情感编码器、合成器和声码器三部分;利用训练完成的语音克隆合成模型,根据用户输入的语音或文字内容,生成语音克隆合成模型已有的指定说话人的语音;或根据用户输入的短时语音,快速克隆用户语音中的音色和情感。本发明实现端到端的语音合成与克隆,通过多说话人模型,以同一模型和不同说话人向量嵌入合成不同情感和音色的语音。本发明用短语音产生的说话人嵌入向量,结合使用较多语料训练的生成模型进行语音克隆,实现了能够体现特定说话人音色和情感的语音克隆。

    一种基于端到端的音色及情感迁移的跨语言语音合成方法

    公开(公告)号:CN115359774A

    公开(公告)日:2022-11-18

    申请号:CN202210782542.3

    申请日:2022-07-05

    Abstract: 本发明公开了一种基于端到端的音色及情感迁移的跨语言语音合成方法,步骤如下:S1、采集并处理中英文的语音训练数据,提取出所需的语音特征;S2、训练中文和英文的语音合成的学习网络架构,包括说话人编码器、合成器和声码器三部分;S3、利用训练完成的学习网络架构,对说话人输入的实时语音进行跨语言的语音合成,合成语音能够有效保留说话人的音色和情感。本方法提供了跨语言的语音合成方法,在给定说话人少量语音的条件下,能够合成跨语言的语音,且可以在合成语音中保留说话人的音色和情感。

    一种端到端的音色及情感迁移的中文语音克隆方法

    公开(公告)号:CN115359775A

    公开(公告)日:2022-11-18

    申请号:CN202210846358.0

    申请日:2022-07-05

    Abstract: 本发明公开了一种端到端的音色及情感迁移的中文语音克隆方法,步骤如下:采集用户录制的中文语音作为训练数据,提取出所需的语音特征;训练语音克隆合成模型,包括音色情感编码器、合成器和声码器三部分;利用训练完成的语音克隆合成模型,根据用户输入的语音或文字内容,生成语音克隆合成模型已有的指定说话人的语音;或根据用户输入的短时语音,快速克隆用户语音中的音色和情感。本发明实现端到端的语音合成与克隆,通过多说话人模型,以同一模型和不同说话人向量嵌入合成不同情感和音色的语音。本发明用短语音产生的说话人嵌入向量,结合使用较多语料训练的生成模型进行语音克隆,实现了能够体现特定说话人音色和情感的语音克隆。

    一种基于端到端的音色及情感迁移的跨语言语音合成方法

    公开(公告)号:CN115359774B

    公开(公告)日:2025-04-29

    申请号:CN202210782542.3

    申请日:2022-07-05

    Abstract: 本发明公开了一种基于端到端的音色及情感迁移的跨语言语音合成方法,步骤如下:S1、采集并处理中英文的语音训练数据,提取出所需的语音特征;S2、训练中文和英文的语音合成的学习网络架构,包括说话人编码器、合成器和声码器三部分;S3、利用训练完成的学习网络架构,对说话人输入的实时语音进行跨语言的语音合成,合成语音能够有效保留说话人的音色和情感。本方法提供了跨语言的语音合成方法,在给定说话人少量语音的条件下,能够合成跨语言的语音,且可以在合成语音中保留说话人的音色和情感。

    一种基于软提示的智能图文检索系统、方法及电子设备

    公开(公告)号:CN119719392A

    公开(公告)日:2025-03-28

    申请号:CN202411677124.3

    申请日:2024-11-22

    Abstract: 本发明公开了一种基于软提示的智能图文检索系统、方法及电子设备,其中系统包括:检索界面模块、模型检索模块、检索数据收集模块、软提示高效更新模型模块;其中软提示高效更新模型模块,用于在收集的图文对数据集达到预设阈值,利用存储的数据在多模态预训练模型上进行训练,获得新的软提示,并用其更新模型检索模块。本发明利用适用于大规模预训练模型的软提示方法,考虑了多模态建模的特点,将软提示方法与多模态方法结合,来实现向量在图文检索任务上的最佳对齐;构建模态共享的软提示和模态特定的软提示,来促进不同模态软提示信息的对齐,进而促进不同模态信息的对齐。本发明可广泛应用于图文检索技术领域。

Patent Agency Ranking