-
公开(公告)号:CN115456149A
公开(公告)日:2022-12-09
申请号:CN202211221881.0
申请日:2022-10-08
Applicant: 鹏城实验室
Abstract: 本发明公开了一种脉冲神经网络加速器学习方法、装置、终端及存储介质,包括:获取前向运算所需数据,并根据前向运算数据在前向运算引擎中进行第一卷积运算和自组织迁移运算,得到前向运算结果;根据前向运算结果在后向运算引擎中进行第二卷积运算和梯度运算,得到后向运算结果;根据后向运算结果进行梯度更新运算,并根据梯度更新运算的结果更新脉冲神经网络加速器的梯度参数。本发明可以高效处理基于BPTT的脉冲神经网络学习,从而确保了SNN的精度,端到端的解决了SNN学习问题。
-
公开(公告)号:CN119940458A
公开(公告)日:2025-05-06
申请号:CN202411827416.0
申请日:2024-12-11
Applicant: 鹏城实验室
IPC: G06N3/084 , G06N3/0464 , G06N3/063
Abstract: 本申请实施例提出的深度脉冲神经网络训练架构的能耗计算方法及相关设备,方法包括:首先,获取深度脉冲神经网络训练任务中脉冲卷积、膜电位梯度卷积和权重梯度中逻辑判别、浮点加和浮点乘的操作数量;其次,分别获取多个变量在深度脉冲神经网络训练架构的DRAM、SRAM和寄存器中进行读写操作的重用因子;接下来,基于操作数量、重用因子和各级存储器的单位读写能耗,计算得到任务读写能耗;然后,基于逻辑判别数量、浮点加和浮点乘累加操作对应的累加操作数量及其单位操作能耗,计算得到任务计算能耗;最后,累加任务读写能耗和任务计算能耗得到深度脉冲神经网络训练的任务能耗,可以精准地计算得到深度神经网络训练任务对应的任务能耗。
-
公开(公告)号:CN119358606A
公开(公告)日:2025-01-24
申请号:CN202411346108.6
申请日:2024-09-25
Applicant: 鹏城实验室
IPC: G06N3/049 , G06N3/0464 , G06N3/084
Abstract: 本申请提供了一种脉冲神经网络权重梯度计算方法,包括:获取目标脉冲神经网络中每个通道维度的脉冲变化信号以及每个卷积核对应的膜电位梯度变化信息;针对每个脉冲变化信号,分别在多个时钟滑窗内按照时钟周期读取对应的脉冲信号值;在当前时钟周期读取的多个脉冲信号值不均为0的情况下,读取多个膜电位梯度变化信息中的梯度变化值,将多个梯度变化值按行输入至预设的累加器阵列,并将多个脉冲信号值输入至预设的多个选择器,以通过多个选择器按列控制累加器阵列中多个累加器将梯度变化值累加至上一时钟周期的梯度累加结果上,得到当前时钟周期的多个梯度累加结果,进而得到每个卷积核的权重梯度信息,能够有效避免无效计算,提高计算效率。
-
公开(公告)号:CN117809381B
公开(公告)日:2024-05-14
申请号:CN202410232129.9
申请日:2024-03-01
Applicant: 鹏城实验室
IPC: G06V40/20 , G06V20/40 , G06V10/44 , G06V10/62 , G06V10/764 , G06V10/82 , G06N3/0442 , G06N3/084 , G06N3/049
Abstract: 本申请实施例提供视频动作分类方法、装置、设备和存储介质,涉及图像处理技术领域。该方法依次在每个时间步选取目标视频帧,调用依次级联的局部时空特征模块对目标视频帧进行脉冲编码后,再进行特征提取得到局部时空特征,调用依次级联的全局时空特征模块对局部时空特征进行脉冲编码后,再进行特征提取得到全局时空特征,利用循环神经网络模块从全局时空特征中提取分类时空特征,对分类时空特征进行分类预测得到视频动作分类结果。在特征提取过程中对输入的数据进行脉冲编码,将特征提取过程中乘法运算变为加法运算,降低网络处理过程的运算复杂度,尤其是在长时视频的场景下,能够减少运算时间,提升运算效率。
-
公开(公告)号:CN117636014A
公开(公告)日:2024-03-01
申请号:CN202311549911.5
申请日:2023-11-20
Applicant: 鹏城实验室
IPC: G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/09
Abstract: 本申请实施例提供图像分类方法、装置、设备和存储介质,涉及人工智能技术领域。该方法将目标图像转化成二维图像序列输入脉冲卷积采样模块,依次经过脉冲卷积处理单元进行脉冲转换得到脉冲特征向量;再将脉冲特征向量输入脉冲编码器进行脉冲编码,得到编码特征向量;最后将编码特征向量输入分类头进行图像分类,得到目标图像的目标分类结果。本申请实施例利用脉冲卷积处理单元对第一输入数据依次进行卷积操作、第一批归一化操作和第一脉冲叠加操作,不会降低空间分辨率以及感受野,能够捕捉较多的细节信息,避免信息丢失导致的特征模糊,从而提升后续脉冲编码和图像分类的精度,最终提升图像分类的准确率。
-
公开(公告)号:CN116245182A
公开(公告)日:2023-06-09
申请号:CN202310142138.4
申请日:2023-02-09
Applicant: 鹏城实验室
IPC: G06N5/04 , G06F8/60 , G06F8/41 , G06N3/0464 , G06N3/08
Abstract: 本申请公开了一种深度脉冲神经网络的分布式部署推理方法及相关装置,所述方法包括获取待部署的深度脉冲神经网络,并将所述深度脉冲神经网络拆分为若干子神经网络;对若干子神经网络中的各子神经网络进行编译,以得到各子神经网络对应的生成模型文件;将若干子神经网络对应的生成模型文件依次部署于类脑芯片,以通过若干子神经网络逐步对输入数据进行推理,以得到输入数据对应的输出数据。本申请通过将深度脉冲网络拆分为若干子神经网络,并分别编译和部署单个子神经网络,这样可以将深度脉冲神经网络部署于类脑芯片,使得类脑芯片使用大规模深度脉冲神经网络进行模型推理,扩展了深度脉冲神经网络的使用范围。
-
公开(公告)号:CN119946233A
公开(公告)日:2025-05-06
申请号:CN202411824716.3
申请日:2024-12-11
Applicant: 鹏城实验室
IPC: H04N7/56 , H04N7/10 , H04N23/90 , H04N25/707
Abstract: 本申请实施例提出的多路普通和动态视觉传感器的长距离同步采集方法与系统,多路普通和动态视觉传感器的长距离同步采集方法与系统包括多个普通视觉传感器、多个动态视觉传感器以及控制处理器,方法应用于控制处理器,方法包括:确定目标普通视觉传感器,以及确定目标动态视觉传感器;获取目标普通视觉传感器的第一同步信号,并将第一同步信号进行第一延时补偿处理后发送至其余普通视觉传感器;将第一同步信号进行第二延时补偿处理后发送至至每个动态视觉传感器;将目标动态视觉传感器发出的将第二同步信号进行第三延时补偿处理后发送至其余动态视觉传感器,以进行数据同步采集,提高多个视觉传感器进行图像数据采集的精准性和同步性。
-
公开(公告)号:CN119167995A
公开(公告)日:2024-12-20
申请号:CN202410237508.7
申请日:2024-03-01
IPC: G06N3/0464 , G06N3/08 , G06F13/28
Abstract: 本发明公开一种神经网络加速器、方法及电子芯片,其中,神经网络加速器,包括:直接内存访问模块、全局控制模块、运算模块和片内存储模块;直接内存访问模块用于加载特征数据、权重数据和指令数据;直接内存访问模块从片内存储模块读取特征数据和权重数据分发给运算模块,并将运算结果写回到片内存储模块;全局控制模块用于在收到启动工作指令时将存储的指令数据分发给运算模块以对运算模块进行控制信息配置;运算模块,用于根据全局控制模块分发的指令数据控制执行基于Winograd算法的神经网络运算;片内存储模块,用于加载的特征数据、权重数据、运算中间数据及运算结果数据的存储。本发明适于神经网络运算的效率提升和功耗降低。
-
公开(公告)号:CN118691476A
公开(公告)日:2024-09-24
申请号:CN202410813250.0
申请日:2024-06-21
Applicant: 鹏城实验室
IPC: G06T3/4053 , G06T3/4046 , G06T3/4007 , G06T3/4038 , G06N3/04 , G06N3/08
Abstract: 本申请实施例提供了一种图像的超分辨率重建方法、装置、电子设备及存储介质,属于数字图像信号处理技术领域。该方法包括:将获取到的低分辨率事件图像,其中,低分辨率事件图像包括多个正事件类型和负事件类型下的事件图像;将不同事件类型下的事件图像输入预先训练好的互补增强模型中进行特征挖掘及互补增强,得到相应类型下的事件特征;交叉融合不同事件类型下的事件特征得到全局特征,基于全局特征分别对不同事件类型下的事件特征进行特征补充,得到特征补充后的事件特征;基于特征补充后的事件特征得到目标高分辨率事件图像。本申请能够提高待处理图像的分辨率、减少待处理图像中的噪音,进而提高最终得到的目标图像的整体质量。
-
公开(公告)号:CN117809381A
公开(公告)日:2024-04-02
申请号:CN202410232129.9
申请日:2024-03-01
Applicant: 鹏城实验室
IPC: G06V40/20 , G06V20/40 , G06V10/44 , G06V10/62 , G06V10/764 , G06V10/82 , G06N3/0442 , G06N3/084 , G06N3/049
Abstract: 本申请实施例提供视频动作分类方法、装置、设备和存储介质,涉及图像处理技术领域。该方法依次在每个时间步选取目标视频帧,调用依次级联的局部时空特征模块对目标视频帧进行脉冲编码后,再进行特征提取得到局部时空特征,调用依次级联的全局时空特征模块对局部时空特征进行脉冲编码后,再进行特征提取得到全局时空特征,利用循环神经网络模块从全局时空特征中提取分类时空特征,对分类时空特征进行分类预测得到视频动作分类结果。在特征提取过程中对输入的数据进行脉冲编码,将特征提取过程中乘法运算变为加法运算,降低网络处理过程的运算复杂度,尤其是在长时视频的场景下,能够减少运算时间,提升运算效率。
-
-
-
-
-
-
-
-
-