训练神经网络的方法和装置以及确定稀疏特征向量的方法

    公开(公告)号:CN104765728A

    公开(公告)日:2015-07-08

    申请号:CN201410009183.3

    申请日:2014-01-08

    Abstract: 本发明涉及对神经网络进行训练的方法和装置以及确定语料库中的词的稀疏特征向量的方法和装置。神经网络包括输入层、隐含层和输出层,输入层表示语料库中的作为当前词的词的原始特征向量,隐含层表示当前词的中间特征向量,输出层表示语料库中的下一词的预测概率。对神经网络进行训练的方法包括:将语料库中的每个词作为当前词,并将当前词的原始特征向量输入到输入层;以及训练神经网络使得下一词的预测概率总体上最高并利用惩罚项使得隐含层的中间特征向量的元素稀疏。

Patent Agency Ranking