基于层间特征相似性网络稀疏化方法、装置、介质及设备

    公开(公告)号:CN115424042A

    公开(公告)日:2022-12-02

    申请号:CN202210842886.9

    申请日:2022-07-18

    Applicant: 北京大学

    Abstract: 本公开涉及一种基于层间特征相似性的网络稀疏化方法、装置、介质及设备,所述方法包括:采集并存储图像数据集,提取所述图像数据集中的样本;将所述图像数据集中的样本输入神经网络进行前向传播,在前向传播的过程中通过神经网络每一层对所述图像数据集中的样本进行特征提取并存储;计算神经网络不同层的特征之间的相似度;通过基于中心核对齐的层间相似性降低方法降低所述神经网络的层间相似性。本公开是首个通过降低网络层间相似性间接提升网络稀疏性的方法。该方法在神经网络预训练、神经网络剪枝、神经网络稀疏训练等领域进行了应用,并皆取得了性能的提升。由于该方法提升了网络的稀疏性,其促进了网络的加速与压缩。

Patent Agency Ranking