公开(公告)号：CN117876927A

公开(公告)日：2024-04-12

申请号：CN202311808648.7

申请日：2023-12-26

Applicant: 上海航天控制技术研究所

Inventor： 钮赛赛 ,  邵艳明 ,  周卫文 ,  席永辉 ,  谭覃燕 ,  方缤猗 ,  甄沛宁 ,  陈海宝

IPC: G06V20/40 ,  G06V10/62 ,  G06V10/764 ,  G06V10/766 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明涉及一种基于深度脉冲神经网络的高帧率目标跟踪方法，将给定一段时间内的嵌入式平台目标事件分割成一个n‑bin体素网格，生成正事件帧和负事件帧；将正事件帧和负事件帧输入YOLO神经网络进行空间特征提取，输出每帧图像中所有目标的位置信息和类别信息，组成空间特征；将正事件帧和负事件帧按照时间顺序输入脉冲卷积神经网络进行时序特征提取，输出与跟踪目标相关的时序信息；构建目标跟踪网络，对空间特征和时序信息进行时空特征融合后分别经过回归计算和分类计算，输出不同时刻下跟踪目标的位置和类别。本发明实现快速高效的嵌入式、低功耗平台下的目标跟踪，有效解决了复杂环境下高帧率目标识别网络能耗高、效率低的问题。

公开(公告)号：CN117830617A

公开(公告)日：2024-04-05

申请号：CN202311819262.6

申请日：2023-12-26

Applicant: 上海航天控制技术研究所

Inventor： 邵艳明 ,  钮赛赛 ,  龙华保 ,  周卫文 ,  王梦如 ,  董昊炎 ,  甄沛宁 ,  陈海宝

IPC: G06V10/25 ,  G06V10/80 ,  G06V10/82 ,  G06N3/06

Abstract: 本发明涉及一种基于深度脉冲神经网络的高帧率目标检测方法，由YOLOv3‑Tiny神经网络模型转换得到脉冲神经网络；在脉冲神经网络每层的通道维度上，通过最大激活值对权值及偏置进行归一化处理；使用阈值不平衡的有符号神经元方法设置神经元的正负激活阈值，选择脉冲神经网络中需要被激活的神经元；基于STDP的无监督学习训练方法，对优化后的脉冲神经网络进行训练，得到高帧率目标检测模型；对高帧率目标检测模型进行张量分解与量化压缩，实现轻量化处理；将待检测图像输入轻量化的高帧率目标检测模型，输出图像中目标类别和目标边界位置坐标。本发明实现了高精度、低功耗、高实时性的目标检测，减小了模型参数量、模型大小及模型训练时间。