公开(公告)号：CN116631374A

公开(公告)日：2023-08-22

申请号：CN202310145902.3

申请日：2023-02-21

Applicant: 内蒙古大学

Inventor： 刘瑞 ,  胡一帆 ,  左昊麟

IPC: G10L15/00 ,  G10L15/02 ,  G10L15/06 ,  G10L15/16 ,  G10L15/26 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明公开了一种基于多模态的蒙古语韵律自动标注方法，包括以下步骤：对蒙古文BERT模型进行预训练，得到训练好的蒙古文BERT模型；将训练好的蒙古文BERT模型作为文本特征提取模块，并从待标注的文本信息中，提取话语级文本特征ht；对基于自监督的蒙古语语音特征提取模型进行预训练，得到训练好的语音模型；将训练好的语音模型作为语音特征提取模块，并将待标准的语音信号输入至语音特征提取模块，得到原始语音特征ha；使用基于跨模态注意力的特征融合结构，对话语级文本特征ht和原始语音特征ha进行处理，计算韵律边界的概率分布，完成蒙古语韵律自动标注，填补了领域空白，相较于人工标注蒙古语韵律，极大地节省了标注成本。

公开(公告)号：CN116434778A

公开(公告)日：2023-07-14

申请号：CN202310145884.9

申请日：2023-02-21

Applicant: 内蒙古大学

Inventor： 刘瑞 ,  尹鹏恺 ,  左昊麟 ,  胡一帆

IPC: G10L25/60 ,  G10L25/30 ,  G10L15/00 ,  G10L15/02 ,  G10L15/06 ,  G10L15/16 ,  G10L15/26 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/0895

Abstract: 本发明公开了基于层次化迁移学习的蒙古语自动语音质量评估方法，包括以下步骤：对英语语音自监督模型和英语语音质量评估模型进行预训练，得到训练好的英语语音自监督模型和训练好的英语语音质量评估模型；对训练好的英语语音自监督模型和训练好的英语语音质量评估模型进行迁移学习，得到训练好的自监督模型和训练好的语音质量评估模型；使用训练好的语音自监督模型和BERT模型提取蒙古语语音的特征向量和对应文本中的文本特征；将语音特征和文本特征融合为句子级别的语义特征f，并将f送入训练好的语音质量评估模型，得到语音信号对应的MOS分数z，完成蒙古语自动语音质量评估，首创了蒙古语语音质量自动评估方法，填补了该领域的空白。