-
公开(公告)号:CN118098220A
公开(公告)日:2024-05-28
申请号:CN202410320570.2
申请日:2024-03-20
Applicant: 中国科学院声学研究所
Abstract: 本发明提供了一种端到端双语混合语音识别训练方法及系统,所述训练方法包括:使用未经训练的神经网络模型,利用多语言语音数据经过自监督训练,得到第一预训练模型;使用第一预训练模型,利用多语言语音有标注数据经过有监督训练,得到第二预训练模型;使用第二预训练模型,利用多语言语音无标注数据经过半监督训练,得到第三预训练模型;基于第三预训练模型,利用双语语音数据经过有监督训练,得到最终端到端双语混合语音识别系统。本发明的优势在于:本发明的训练方法在双语混合识别场景下,有很大的性能提升;由于该方法使用丰富的多语言语音数据进行预训练,同时采用创新的训练组合方式,该方法在双语混合语音识别场景下,识别准确率更高。