公开(公告)号：CN116861978A

公开(公告)日：2023-10-10

申请号：CN202310748273.3

申请日：2023-06-21

Applicant: 中国科学院自动化研究所 ,  中国科学院大学

Inventor： 张兆翔 ,  肖俊 ,  王玉玺 ,  王经韬 ,  宋增杰

IPC: G06N3/08 ,  G06N3/049

Abstract: 本发明提供一种脉冲神经网络训练方法、装置、电子设备及存储介质，其中方法包括：构建输入脉冲序列和输出脉冲序列之间的关系；基于关系得到稳定脉冲输入流、稳定脉冲输出流和平均脉冲电量；脉冲编码器将样本数据转换为样本脉冲序列编码；将样本脉冲序列编码输入至脉冲神经网络进行前向传播，得到每一层的输入与输出和前向传播的输出；基于前向传播的输出与真实标签，确定全局误差；基于梯度和稳定脉冲输出流，得到稳定脉冲输出流的梯度；基于稳定脉冲输出流的梯度，确定反向传播梯度；进行梯度反传，直至全局误差小于预设阈值，由此，能够越过时间维度上的误差反传过程，从而减小训练开销，并且在极大降低训练开销的同时获得表现优异的模型。

公开(公告)号：CN114596876B

公开(公告)日：2023-04-07

申请号：CN202210073239.6

申请日：2022-01-21

Applicant: 中国科学院自动化研究所

Inventor： 张兆翔 ,  谭铁牛 ,  宋增杰

IPC: G10L21/0272 ,  G10L21/0308 ,  G06N3/08 ,  G06N3/0464 ,  H04N21/233 ,  H04N21/439

Abstract: 本发明提供一种声源分离方法及装置，所述方法包括：获取视频帧图像中的视觉引导特征；将第一混叠多声源声谱图和所述视觉引导特征输入训练好的预测编码循环卷积神经网络模型，获取第一掩膜图；根据所述第一混叠多声源声谱图和所述第一掩膜图，获取分离的声音信号。本发明通过将视觉引导特征和混叠多声源声谱图输入训练好的预测编码循环卷积神经网络模型预测各声音分量的掩膜图，然后利用掩膜图和混叠多声源声谱图获取分离的声音信号，实现声谱图和视觉引导特征在同一网络模型中进行处理，网络模型规模小，且视觉特征和声音特征能够渐进式的有效融合，提高了声源分离的精度。

公开(公告)号：CN114596876A

公开(公告)日：2022-06-07

申请号：CN202210073239.6

申请日：2022-01-21

Applicant: 中国科学院自动化研究所

Inventor： 张兆翔 ,  谭铁牛 ,  宋增杰

IPC: G10L21/0272 ,  G10L21/0308 ,  G06N3/08 ,  G06N3/04 ,  H04N21/233 ,  H04N21/439

Abstract: 本发明提供一种声源分离方法及装置，所述方法包括：获取视频帧图像中的视觉引导特征；将第一混叠多声源声谱图和所述视觉引导特征输入训练好的预测编码循环卷积神经网络模型，获取第一掩膜图；根据所述第一混叠多声源声谱图和所述第一掩膜图，获取分离的声音信号。本发明通过将视觉引导特征和混叠多声源声谱图输入训练好的预测编码循环卷积神经网络模型预测各声音分量的掩膜图，然后利用掩膜图和混叠多声源声谱图获取分离的声音信号，实现声谱图和视觉引导特征在同一网络模型中进行处理，网络模型规模小，且视觉特征和声音特征能够渐进式的有效融合，提高了声源分离的精度。