自定义浮点数及其计算方法和硬件结构

    公开(公告)号:CN109901814A

    公开(公告)日:2019-06-18

    申请号:CN201910114677.0

    申请日:2019-02-14

    Inventor: 张煜祺 刘功申

    Abstract: 本发明提供了一种具有共享指数的自定义浮点数,把基于32-bit浮点数的神经网络模型压缩到8-bit,大幅度压缩了模型的大小的同时降低运算操作复杂度。在自定义的浮点数运算中,采用的是整数乘法和加法运算。与32-bit浮点数乘法相比,自定义浮点数的乘法运算节省了17倍的能量消耗,30倍芯片面积;加法运算节省28倍能量消耗,116倍芯片面积。在全连接层的网络参数中,传输到片外存储器的数据所需的内存带宽减少了4倍。自定义浮点数有助于在片上缓冲器中保持4倍以上的参数。在硬件实现中,结合8-bit的自定义浮点数与乘法器封装结构,实现在运算单元CU上运算增快整个神经网络的运行速度和吞吐量。

Patent Agency Ranking