用于估计神经处理器的延迟的系统和方法

    公开(公告)号:CN116151371A

    公开(公告)日:2023-05-23

    申请号:CN202211158434.5

    申请日:2022-09-22

    Abstract: 公开用于估计神经处理器的延迟的系统和方法。主机处理装置将辅助层添加到神经网络的选择的层。神经处理器在选择的层和辅助层上执行推断操作。针对选择的层和辅助层的推断操作测量总延迟,并且针对推断操作测量开销延迟。从总延迟减去开销延迟以生成对层的延迟的估计。在一个实施例中,测量与辅助层相关联的推断操作的开销延迟涉及基于输入到选择的层的输入数据大小和从辅助层输出的输出数据大小的线性回归来对开销延迟进行建模。

Patent Agency Ranking