公开(公告)号：CN118886467A

公开(公告)日：2024-11-01

申请号：CN202410839742.7

申请日：2024-06-26

Applicant: 中国科学院自动化研究所

Inventor： 李国齐 ,  胡天翔 ,  徐波 ,  姚满

IPC: G06N3/08 ,  G06N3/084 ,  G06N3/049 ,  G06N3/0464

Abstract: 本发明提供一种基于脉冲发放率的脉冲神经网络训练方法及装置，其中，上述方法包括：确定预设的脉冲神经网络模型的脉冲神经元所发放的多个脉冲的脉冲发放率；基于所述脉冲发放率进行前向传递与反向传递，得到更新后的脉冲神经网络模型；基于所述更新后的脉冲神经网络模型将所述多个脉冲转换为对应多个仿真时间步的脉冲序列；基于重参数化后的权重对所述多个仿真时间步的脉冲序列进行加权求和，得到下一层神经元的输入值，通过本发明解决了相关技术中的脉冲神经网络的训练方法存在训练速度慢的技术问题。

公开(公告)号：CN118036662A

公开(公告)日：2024-05-14

申请号：CN202311721664.2

申请日：2023-12-14

Applicant: 中国科学院自动化研究所

Inventor： 李国齐 ,  胡天翔 ,  徐波 ,  姚满

IPC: G06N3/0455 ,  G06N3/0464 ,  G06N3/063 ,  G06N3/08 ,  G06V10/42 ,  G06V10/44 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提供一种面向硬件实现的脉冲驱动元脉冲神经网络建立及应用方法，属于计算机视觉技术领域，方法包括：根据待处理图像的视觉任务构建基于卷积的第一脉冲神经网络块、基于卷积的第二脉冲神经网络块、基于Transformer的第一卷积神经网络块、基于Transformer的第二卷积神经网络块、第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块以及输出层；根据上述组成部分确定脉冲驱动元脉冲神经网络，所述脉冲驱动元脉冲神经网络用于进行视觉任务识别。本发明能够解决现有技术中脉冲神经网络的输出容易出现信息丢失，且在计算机视觉领域精度不高的缺陷。

公开(公告)号：CN118228774A

公开(公告)日：2024-06-21

申请号：CN202410281281.6

申请日：2024-03-12

Applicant: 中国科学院自动化研究所

Inventor： 李国齐 ,  胡天翔 ,  徐波 ,  姚满

IPC: G06N3/0464 ,  G06N3/063 ,  G06F17/16 ,  G06F17/15

Abstract: 本发明提供一种基于脉冲神经网络的残差网络优化方法、装置及电子设备。该方法包括：在每个卷积层的输入端设置有LIF神经元的激活函数的情况下，对卷积模块的输出矩阵和/或跳跃连接模块的输出矩阵进行脉冲化处理，得到第一脉冲矩阵；将第一脉冲矩阵转换为第一膜电位矩阵；将第一膜电位矩阵传递至加法模块进行相加，得到残差块的输出矩阵；在每个批标准化层的输出端设置有LIF神经元的激活函数的情况下，对卷积模块的输出矩阵和跳跃连接模块的输出矩阵进行转换处理，分别得到第二膜电位矩阵和第三膜电位矩阵；将第二膜电位矩阵和第三膜电位矩阵传递至加法模块进行相加，得到第四膜电位矩阵；对第四膜电位矩阵进行脉冲化处理，得到残差块的输出矩阵。