公开(公告)号：CN115660056A

公开(公告)日：2023-01-31

申请号：CN202211363442.3

申请日：2022-11-02

Applicant: 无锡江南计算技术研究所

Inventor： 钱磊 ,  尚江卫 ,  张昆 ,  曹清 ,  何宁 ,  原昊 ,  王春清 ,  马德胜 ,  陈冬冬

IPC: G06N3/063 ,  G06F9/28

Abstract: 本申请公开了一种神经网络硬件加速器的数据在线压缩方法及装置，方法包括对神经网络输出的第一激活值进行转换处理，得到第一激活掩码；将第一激活掩码划分为至少两组激活子掩码，并按照预设顺序依次对每组激活子掩码进行累加处理，得到激活位置掩码；基于第一激活掩码、激活位置掩码以及神经网络输出的权重值，计算出激活选择掩码；根据激活选择掩码对第一激活值进行筛选处理，得到目标激活值，并基于目标激活值生成第二激活掩码。通过对激活值进行在线掩码的设置以及对权重值的离线压缩，不仅对不同的神经网络压缩的适应性强，还可提高数据移动效率，在降低功耗的同时保证了吞吐量。