公开(公告)号：CN115019061A

公开(公告)日：2022-09-06

申请号：CN202210924688.7

申请日：2022-08-03

Applicant: 清华大学

Inventor： 张新钰 ,  张世焱 ,  李骏 ,  杨昊波 ,  杨卓异 ,  吴新刚

IPC: G06V10/44 ,  G06N3/04 ,  G06N3/08 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种基于深度神经网络信息熵估计的熵优化方法，所述方法包括：步骤1）对待优化的深度神经网络的输入数据与输出数据基于通信理论进行建模，得到对于信息熵的期望与约束；所述深度神经网络包括n个网络层，第n层网络层为输出层；步骤2）根据所述深度神经网络的各层网络结构，对深度神经网络的训练过程建立概率模型；步骤3）采用K‑近临熵估计方法计算训练过程中所述深度神经网络每层网络层输出的信息熵；步骤4）依据信息熵的期望与约束，建立信息熵的损失函数，指导深度神经网络的训练过程与优化方向。本发明提高了对深度神经网络训练过程的可解释性，使训练过程更加透明，并可以量化评价。