公开(公告)号：CN113450830B

公开(公告)日：2024-03-08

申请号：CN202110695847.6

申请日：2021-06-23

Applicant: 东南大学

Inventor： 姜芃旭 ,  梁瑞宇 ,  赵力 ,  徐新洲 ,  陶华伟

IPC: G10L25/63 ,  G10L25/21 ,  G10L25/24 ,  G10L25/30

公开(公告)号：CN113450830A

公开(公告)日：2021-09-28

申请号：CN202110695847.6

申请日：2021-06-23

Applicant: 东南大学

Inventor： 姜芃旭 ,  梁瑞宇 ,  赵力 ,  徐新洲 ,  陶华伟

IPC: G10L25/63 ,  G10L25/21 ,  G10L25/24 ,  G10L25/30

Abstract: 本发明公布了一种具有多重注意机制的卷积循环神经网络的语音情感识别方法，包括：步骤1，提取谱图特征和帧级特征。步骤2，谱图特征输送进CNN模块来学习特征中的时频相关信息。步骤3，多头自注意力层作用于CNN模块来计算不同规模的全局特征下不同帧的权重，并融合CNN中不同深度的特征。步骤4，一个多维注意层作用于LSTM输入的帧级特征来综合考虑局部特征与全局特征的关系。步骤5，处理过的帧级特征输送进LSTM模型中来获取特征中的时间信息。步骤6，一个融合层来总结不同模块的输出来增强模型性能。步骤7，利用Softmax分类器对不同情感进行分类。本发明结合深度学习网络，模块内部采用并行的连接结构来同时处理特征，能够有效的提升语音情感识别的性能。