公开(公告)号：CN110168542B

公开(公告)日：2023-11-24

申请号：CN201880005774.X

申请日：2018-02-06

Applicant: 三星电子株式会社

Inventor： 俞承学 ,  奈尔什·库尔卡尼 ,  宋熙俊 ,  李海俊

IPC: G06F40/274 ,  G06F40/216 ,  G06F40/284 ,  G06N3/044 ,  G06N3/08 ,  G06N5/022

Abstract: 第二投影矩阵和共享矩阵执行RNN训练来更新第提供了一种用于压缩语言模型的电子设备， 一投影矩阵、第二投影矩阵和共享矩阵的元素。该电子设备包括：存储装置，其被配置成存储语言模型，该语言模型包括通过基于包括多个语句的基本数据进行递归神经网络(RNN)训练而生成的嵌入矩阵和softmax矩阵；以及处理器，其被配置成：将嵌入矩阵转换成第一投影矩阵与共享矩阵的乘积，第一投影矩阵与共享矩阵的乘积具有与嵌入矩阵的大小相同的大小，并且将softmax矩阵的转置矩阵转换成第二投影矩阵与共享矩

公开(公告)号：CN110168542A

公开(公告)日：2019-08-23

申请号：CN201880005774.X

申请日：2018-02-06

Applicant: 三星电子株式会社

Inventor： 俞承学 ,  奈尔什·库尔卡尼 ,  宋熙俊 ,  李海俊

IPC: G06F17/27 ,  G06N3/04 ,  G06N3/08

Abstract: 提供了一种用于压缩语言模型的电子设备，该电子设备包括：存储装置，其被配置成存储语言模型，该语言模型包括通过基于包括多个语句的基本数据进行递归神经网络(RNN)训练而生成的嵌入矩阵和softmax矩阵；以及处理器，其被配置成：将嵌入矩阵转换成第一投影矩阵与共享矩阵的乘积，第一投影矩阵与共享矩阵的乘积具有与嵌入矩阵的大小相同的大小，并且将softmax矩阵的转置矩阵转换成第二投影矩阵与共享矩阵的乘积，第二投影矩阵与共享矩阵的乘积具有与softmax矩阵的转置矩阵的大小相同的大小，以及通过基于基本数据而相对于第一投影矩阵、第二投影矩阵和共享矩阵执行RNN训练来更新第一投影矩阵、第二投影矩阵和共享矩阵的元素。