用于减少可微分架构搜索的计算的方法

    公开(公告)号:CN115688875A

    公开(公告)日:2023-02-03

    申请号:CN202210868205.6

    申请日:2022-07-22

    Abstract: 公开了一种用于减少可微分架构搜索的计算的方法。通过对神经网络架构的标准单元的中间节点的通道输出进行平均,形成具有标准单元的通道维度的四分之一的通道维度的输出节点。使用1x1卷积对输出节点进行预处理,以形成神经网络架构中的单元的下一层的输入节点的通道。形成输出节点包括通过将中间节点的通道输出除以划分参数s来形成中间节点的通道输出的s个组。形成每组通道输出的平均通道输出,并且通过将每组通道的平均通道输出与标准单元的中间节点的通道输出进行拼接来形成输出节点。

    自注意力机制中特征图的稀疏化方法

    公开(公告)号:CN115618944A

    公开(公告)日:2023-01-17

    申请号:CN202210696722.X

    申请日:2022-06-20

    Abstract: 公开了一种减少自注意力深度学习模型中的计算的方法。在训练自注意力模型时,特征图正则化项被添加到损失函数中。在推断期间,从自注意力模型的至少一个特征图中去除至少一个低量值特征。在自注意力模型被训练之后,自注意力模型的权重被量化。添加特征图正则化项减少了特征图的激活值,并且从至少一个特征图中去除至少一个低量值特征可以通过基于低量值特征具有小于预定阈值的值而将低量值特征设置为等于零来执行。自注意力模型的特征图被量化和压缩。

    用于估计神经处理器的延迟的系统和方法

    公开(公告)号:CN116151371A

    公开(公告)日:2023-05-23

    申请号:CN202211158434.5

    申请日:2022-09-22

    Abstract: 公开用于估计神经处理器的延迟的系统和方法。主机处理装置将辅助层添加到神经网络的选择的层。神经处理器在选择的层和辅助层上执行推断操作。针对选择的层和辅助层的推断操作测量总延迟,并且针对推断操作测量开销延迟。从总延迟减去开销延迟以生成对层的延迟的估计。在一个实施例中,测量与辅助层相关联的推断操作的开销延迟涉及基于输入到选择的层的输入数据大小和从辅助层输出的输出数据大小的线性回归来对开销延迟进行建模。

Patent Agency Ranking