公开(公告)号：CN110009091B

公开(公告)日：2023-10-31

申请号：CN201810012490.5

申请日：2018-01-05

Applicant: 微软技术许可有限责任公司

Inventor： 陈薇 ,  叶启威 ,  刘铁岩 ,  孟琪

IPC: G06N3/048 ,  G06N3/045 ,  G06N3/084

Abstract: 根据本公开的实现，提出了一种学习网络在等价类空间中的优化方案。在该方案中，确定贯穿学习网络的多个层的多个基础路径。多个层上的每个节点利用具有缩放不变属性的激活函数对来自前一层的节点的输入进行处理，每个基础路径包括多个层中的每一层上的单个节点，并且多个基础路径中的处理彼此线性无关。对于多个基础路径中的每一个基础路径，更新与该基础路径中的节点相关联的参数的组合值，在每个基础路径中，与一个节点相关联的参数被用以调节该节点从前一层的节点获得的输入。基于更新后的参数的组合值，更新在多个基础路径中与多个层上的节点相关联的参数的值。通过该方案，提高了优化效率，实现更准确地获得参数的优化值。

公开(公告)号：CN110009091A

公开(公告)日：2019-07-12

申请号：CN201810012490.5

申请日：2018-01-05

Applicant: 微软技术许可有限责任公司

Inventor： 陈薇 ,  叶启威 ,  刘铁岩 ,  孟琪

IPC: G06N3/04 ,  G06N3/08

Abstract: 根据本公开的实现，提出了一种学习网络在等价类空间中的优化方案。在该方案中，确定贯穿学习网络的多个层的多个基础路径。多个层上的每个节点利用具有缩放不变属性的激活函数对来自前一层的节点的输入进行处理，每个基础路径包括多个层中的每一层上的单个节点，并且多个基础路径中的处理彼此线性无关。对于多个基础路径中的每一个基础路径，更新与该基础路径中的节点相关联的参数的组合值，在每个基础路径中，与一个节点相关联的参数被用以调节该节点从前一层的节点获得的输入。基于更新后的参数的组合值，更新在多个基础路径中与多个层上的节点相关联的参数的值。通过该方案，提高了优化效率，实现更准确地获得参数的优化值。