公开(公告)号：CN112183718B

公开(公告)日：2023-10-10

申请号：CN202010899680.0

申请日：2020-08-31

Applicant: 华为技术有限公司

Inventor： 张军磊 ,  刘传建 ,  李桂林 ,  张星 ,  张维 ,  李震国

IPC: G06N3/045 ,  G06N3/0464 ,  G06F18/214 ,  G06N3/063

Abstract: 本申请提供人工智能领域中一种用于计算设备的深度学习训练方法和装置，用于得到残差连接更少的神经网络，提高神经网络的推理效率，降低神经网络运行时占用的内存量。该方法包括：获取训练集、第一神经网络和第二神经网络，第一神经网络包括残差连接少于第二神经网络包括残差连接；根据训练集对第一神经网络进行至少一次迭代训练，得到训练后的第一神经网络，其中，任意一次迭代训练包括：将第一神经网络中的至少一个第一中间层的第一输出，作为第二神经网络的至少一个网络层的输入，得到至少一个网络层的输出结果，使用第一损失函数更新第一神经网络，第一损失函数包括基于第二神经网络的至少一个网络层的输出结果所获取的约束项。

公开(公告)号：CN112183718A

公开(公告)日：2021-01-05

申请号：CN202010899680.0

申请日：2020-08-31

Applicant: 华为技术有限公司

Inventor： 张军磊 ,  刘传建 ,  李桂林 ,  张星 ,  张维 ,  李震国

IPC: G06N3/04 ,  G06K9/62 ,  G06N3/063

Abstract: 本申请提供人工智能领域中一种用于计算设备的深度学习训练方法和装置，用于得到残差连接更少的神经网络，提高神经网络的推理效率，降低神经网络运行时占用的内存量。该方法包括：获取训练集、第一神经网络和第二神经网络，第一神经网络包括残差连接少于第二神经网络包括残差连接；根据训练集对第一神经网络进行至少一次迭代训练，得到训练后的第一神经网络，其中，任意一次迭代训练包括：将第一神经网络中的至少一个第一中间层的第一输出，作为第二神经网络的至少一个网络层的输入，得到至少一个网络层的输出结果，使用第一损失函数更新第一神经网络，第一损失函数包括基于第二神经网络的至少一个网络层的输出结果所获取的约束项。