-
公开(公告)号：CN108021537A
公开(公告)日：2018-05-11
申请号：CN201810016954.X
申请日：2018-01-05
Applicant: 南京大学
IPC: G06F17/15
Abstract: 本发明公开了一种基于各种硬件平台(CPLD、FPGA、专用芯片等)计算softmax函数的实现方式。softmax函数广泛应用于深度学习的多分类任务及注意力模型等，其中涉及到的e指数及除法计算需要消耗较多的硬件资源。设计方法通过对函数进行数学变换，将其中的e指数计算简化为一次常数乘法、一个输入范围固定的2的指数次运算和一次移位运算；将n次除法运算的简化为一次“最高非零位检测运算”、一次输入范围固定的倒数运算和一次移位运算及n次乘法运算。其中2指数及倒数运算以特殊设计的查找表实现，能以更小的存储空间实现同样精度。将本发明用在深度学习的注意力模型等中，可以在精度几乎不受损的前提下大大提高计算速度，减少计算资源和存储资源的消耗。
Search Results
11
records
(took 0.014 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
