二值或三值神经网络卷积计算的加速运算方法及装置

    公开(公告)号:CN112596912B

    公开(公告)日:2023-03-28

    申请号:CN202011595842.8

    申请日:2020-12-29

    Applicant: 清华大学

    Abstract: 本发明公开了一种二值或三值神经网络卷积计算的加速运算方法及装置,其中该方法包括:针对标准二值或三值卷积方法、基于积分卷积的加速方法、基于卷积核拆分的加速方法等多种卷积计算方法,基于最少运算次数,将待卷积计算的卷积核组合为多个包含两个卷积核的目标卷积核对;将使用标准二值或三值卷积方法的卷积核和使用基于积分卷积的加速方法的卷积核,按照稀疏度递减顺序进行排序,得到编号依次为1···n···N的卷积核;将编号为n和编号N‑n+1为的卷积核组合为一个卷积核对,得到重新组合后的目标卷积核对;通过可重构处理阵列中的两个PE对每个目标卷积核对的两个卷积核进行计算。本发明能够提高硬件计算的能效比,减少计算时间。

    基于时间域存内计算的神经网络加速器及加速方法

    公开(公告)号:CN112580793B

    公开(公告)日:2022-08-12

    申请号:CN202011548012.X

    申请日:2020-12-24

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于时间域存内计算的神经网络加速器及加速方法,神经网络加速器包括:主控制器,权重存储单元,激活值存储单元,子卷积核生成器,脉冲量化器和互补双模预测器;子卷积核生成器根据预设高低位交叉翻转编码表对量化权重进行按位比较,根据按位比较的结果生成多个子卷积核,将生成的多个子卷积核发送至时间域存内计算模块;脉冲量化器接收时间域存内计算模块根据特征图信息和多个子卷积核进行计算的结果,对计算的结果进行量化;互补双模预测器接收脉冲量化器量化后的结果,对量化后的结果进行排序后根据设定预测模式下的预测结果确定是否提前终止计算。本发明支持非均匀量化的同时减少访存、消除冗余计算并减少量化能耗和误差。

    一种视频图像的语义信息提取方法及装置

    公开(公告)号:CN107391646B

    公开(公告)日:2020-04-10

    申请号:CN201710569482.6

    申请日:2017-07-13

    Applicant: 清华大学

    Abstract: 本发明提供了一种视频图像的语义信息提取方法及装置,涉及视频描述及视频标注技术领域,首先按一定的帧间隔提取视频的帧序列,通过卷积神经网络提取每帧图像的特征向量,将该特征向量作为LSTM网络编码器的输入,该LSTM网络编码器的每一时间步的输出及LSTM网络解码器上一时间步的输出作为外部存储器EMM的输入,更新外部存储器EMM中的存储矩阵的内容;外部存储器EMM输出两个读向量,分别作为下一时间步解码和编码的一个输入向量。通过两个LSTM网络动态控制外部存储器EMM的读写,实现在编码阶段存储视频各帧图像的信息特征,在解码阶段通过预测单词的反馈,调整外部存储器下一时间步的输出,使得生成视频标注时可根据当前已经生成的单词序列调节上下文特征向量。

    基于时间域存内计算的神经网络加速器及加速方法

    公开(公告)号:CN112580793A

    公开(公告)日:2021-03-30

    申请号:CN202011548012.X

    申请日:2020-12-24

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于时间域存内计算的神经网络加速器及加速方法,神经网络加速器包括:主控制器,权重存储单元,激活值存储单元,子卷积核生成器,脉冲量化器和互补双模预测器;子卷积核生成器根据预设高低位交叉翻转编码表对量化权重进行按位比较,根据按位比较的结果生成多个子卷积核,将生成的多个子卷积核发送至时间域存内计算模块;脉冲量化器接收时间域存内计算模块根据特征图信息和多个子卷积核进行计算的结果,对计算的结果进行量化;互补双模预测器接收脉冲量化器量化后的结果,对量化后的结果进行排序后根据设定预测模式下的预测结果确定是否提前终止计算。本发明支持非均匀量化的同时减少访存、消除冗余计算并减少量化能耗和误差。

    一种视频图像的语义信息提取方法及装置

    公开(公告)号:CN107391646A

    公开(公告)日:2017-11-24

    申请号:CN201710569482.6

    申请日:2017-07-13

    Applicant: 清华大学

    Abstract: 本发明提供了一种视频图像的语义信息提取方法及装置,涉及视频描述及视频标注技术领域,首先按一定的帧间隔提取视频的帧序列,通过卷积神经网络提取每帧图像的特征向量,将该特征向量作为LSTM网络编码器的输入,该LSTM网络编码器的每一时间步的输出及LSTM网络解码器上一时间步的输出作为外部存储器EMM的输入,更新外部存储器EMM中的存储矩阵的内容;外部存储器EMM输出两个读向量,分别作为下一时间步解码和编码的一个输入向量。通过两个LSTM网络动态控制外部存储器EMM的读写,实现在编码阶段存储视频各帧图像的信息特征,在解码阶段通过预测单词的反馈,调整外部存储器下一时间步的输出,使得生成视频标注时可根据当前已经生成的单词序列调节上下文特征向量。

    二值或三值神经网络卷积计算的加速运算方法及装置

    公开(公告)号:CN112596912A

    公开(公告)日:2021-04-02

    申请号:CN202011595842.8

    申请日:2020-12-29

    Applicant: 清华大学

    Abstract: 本发明公开了一种二值或三值神经网络卷积计算的加速运算方法及装置,其中该方法包括:针对标准二值或三值卷积方法、基于积分卷积的加速方法、基于卷积核拆分的加速方法等多种卷积计算方法,基于最少运算次数,将待卷积计算的卷积核组合为多个包含两个卷积核的目标卷积核对;将使用标准二值或三值卷积方法的卷积核和使用基于积分卷积的加速方法的卷积核,按照稀疏度递减顺序进行排序,得到编号依次为1···n···N的卷积核;将编号为n和编号N‑n+1为的卷积核组合为一个卷积核对,得到重新组合后的目标卷积核对;通过可重构处理阵列中的两个PE对每个目标卷积核对的两个卷积核进行计算。本发明能够提高硬件计算的能效比,减少计算时间。

Patent Agency Ranking