面向序列任务的Transformer监督学习双重一致性正则化方法及系统

    公开(公告)号:CN116611473A

    公开(公告)日:2023-08-18

    申请号:CN202310629724.1

    申请日:2023-05-31

    Abstract: 本发明涉及人工智能应用技术领域,特别涉及一种面向序列任务的Transformer监督学习双重一致性正则化方法及系统,通过对训练输入序列添加扰动,得到用于模型训练的扰动序列数据;基于扰动序列数据确定基础模型训练损失、及基础模型和均值模型之间一致性损失,其中,基础模型为采用Transformer结构建模的序列任务端到端模型,均值模型为基于基础模型并利用指数移动平均值对基础模型反向传播更新参数进行迁移来获取的模型结构;基于基础模型训练损失和基础模型和均值模型之间一致性损失获取基础模型的整体训练损失;基于整体训练损失调整基础模型参数,得到目标序列任务端到端模型。本发明可提升序列生成模型鲁棒性,便于机器翻译、文本摘要等序列任务中应用。

    基于互信息回报函数的语音识别微调方法

    公开(公告)号:CN116825089A

    公开(公告)日:2023-09-29

    申请号:CN202310637126.9

    申请日:2023-05-31

    Abstract: 本发明提供一种基于互信息回报函数的语音识别微调方法。该方法包括:采用编码器‑解码器模型作为语音识别模型;采用有监督方法对语音识别模型进行训练得到初始的语音识别模型;采用强化学习方法对语音识别模型进行微调得到最终的语音识别模型;微调的过程具体包括:将编码器对输入的语音序列的状态编码序列作为环境状态,将解码器在每个时刻输出的文本符号作为动作、在每个时刻输出的概率作为策略函数,将语音序列本身的转移概率作为环境状态的转移概率;定义互信息回报函数并设计总的损失函数;采用小批量梯度下降算法对语音识别模型参数进行优化;将待识别的语音序列输入至训练好的语音识别模型,识别得到文本序列。

Patent Agency Ranking