公开(公告)号：CN105229725B

公开(公告)日：2019-06-25

申请号：CN201480025694.2

申请日：2014-03-05

Applicant: 微软技术许可有限责任公司

Inventor： J-T·黄 ,  J·李 ,  D·俞 ,  L·邓 ,  Y·宫

IPC: G10L15/16

CPC classification number: G10L15/063 ,  G06N3/0454 ,  G06N3/084 ,  G10L15/16

Abstract: 本文描述了涉及多语言深神经网络(MDNN)的各种技术。MDNN包括多个隐藏层，其中所述多个隐藏层的权重参数的值是在训练阶段期间基于训练数据在多种语言的声学原始特征方面学习的。MDNN进一步包括针对每一目标语言分别训练的softmax层，从而利用使用多种源语言联合训练的隐藏层值。MDNN是能自适应的，使得新softmax层可被添加在现有隐藏层顶上，其中新softmax层对应于新目标语言。

公开(公告)号：CN106170800A

公开(公告)日：2016-11-30

申请号：CN201480068343.X

申请日：2014-09-12

Applicant: 微软技术许可有限责任公司

Inventor： R·赵 ,  J-T·黄 ,  J·李 ,  Y·宫

IPC: G06K9/66

CPC classification number: G06N3/084 ,  G06N3/0454 ,  G06N7/005 ,  G06N20/00 ,  G09B5/00

Abstract: 提供了用于通过从更大、更准确的“老师”DNN模型“学习”“学生”DNN模型来生成DNN分类器的系统和方法。学生DNN可以通过使未标记训练数据通过可以从已标记训练数据中训练出的老师DNN来从未标记训练数据中训练。在一个实施例中，应用迭代过程以便通过最小化来自老师和学生DNN模型的输出分布的分歧来训练学生DNN。对于直到收敛的每一次迭代，使用这两个DNN的输出中的差别来更新学生DNN模型，并且再次使用未标记训练数据来确定输出。所得到的经训练学生DNN模型可以适合在诸如移动或可穿戴设备之类的具有有限的计算或存储资源的设备上提供准确信号处理应用。在一实施例中，老师DNN模型包括各DNN模型的系综。

公开(公告)号：CN105229725A

公开(公告)日：2016-01-06

申请号：CN201480025694.2

申请日：2014-03-05

Applicant: 微软技术许可有限责任公司

Inventor： J-T·黄 ,  J·李 ,  D·俞 ,  L·邓 ,  Y·宫

IPC: G10L15/16

CPC classification number: G10L15/063 ,  G06N3/0454 ,  G06N3/084 ,  G10L15/16

Abstract: 本文描述了涉及多语言深神经网络(MDNN)的各种技术。MDNN包括多个隐藏层，其中所述多个隐藏层的权重参数的值是在训练阶段期间基于训练数据在多种语言的声学原始特征方面学习的。MDNN进一步包括针对每一目标语言分别训练的softmax层，从而利用使用多种源语言联合训练的隐藏层值。MDNN是能自适应的，使得新softmax层可被添加在现有隐藏层顶上，其中新softmax层对应于新目标语言。