公开(公告)号：CN117877529A

公开(公告)日：2024-04-12

申请号：CN202410075787.1

申请日：2024-01-18

Applicant: 杭州电子科技大学

Inventor： 应娜 ,  吴顺朋 ,  李鸿宇 ,  蒋银河 ,  陈华华

IPC: G10L25/63 ,  G10L25/24 ,  G10L25/18

Abstract: 本发明公开了一种基于双特征的语音情感识别方法及系统，方法如下：S1、获取采样频率和时长相同的语音信号；S2、提取语音信号的小波散射特征和MFCC相关特征；S3、将小波散射特征按尺度维度扩展为尺度特征，并计算尺度特征的排列熵作为权重；S4、使用排列熵对尺度特征预测的情感类别的后验概率进行加权，并按情感类别求和，得到排列熵加权后验概率；S5、使用梅尔频率倒谱系数相关特征预测情感类别的后验概率；S6、使用偏差调整规则融合基于小波散射特征和梅尔频率倒谱系数特征的后验概率，得到情感分类结果。本发明利用小波散射尺度扩展特征和MFCC相关特征的互补性，通过排列熵加权和偏差调整的方式，提高语音情感识别的准确性和鲁棒性。

公开(公告)号：CN115273902A

公开(公告)日：2022-11-01

申请号：CN202210816317.7

申请日：2022-07-12

Applicant: 杭州电子科技大学

Inventor： 杨雪滢 ,  应娜 ,  郭春生 ,  蒋银河 ,  叶学义

IPC: G10L25/63 ,  G10L25/27 ,  G06N3/04 ,  G06K9/62 ,  G06K9/00

Abstract: 本发明涉及一种语音情感识别方法及系统，其方法包括以下步骤：S1、对输入语音特征图进行平行通道注意力加权，得到加权特征图；S2、通过小尺寸残差连接与特征卷积对加权特征图进行特征提取，得到深度融合情感特征图；通过大尺度残差连接对加权特征图进行浅层特征提取，得到浅层情感特征图；S3、将深度融合情感特征图与浅层情感特征图相融合，得到加权融合情感特征图。本发明充分提取语音特征图中的情感特征，减少全局特征的丢失，有效实现融合情感特征的提取，同时模型复杂度较低，避免了网络过于复杂导致的训练缓慢，效率低下等问题。

公开(公告)号：CN118115911A

公开(公告)日：2024-05-31

申请号：CN202410110755.0

申请日：2024-01-26

Applicant: 杭州电子科技大学

Inventor： 应娜 ,  赵坚 ,  蒋银河 ,  邹雨鉴

IPC: G06V20/40 ,  G06V10/20 ,  G06V10/46 ,  G06V10/50 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G10L15/16

Abstract: 本发明公开了一种基于语音和视频的多模态深度学习情感分类方法，包括如下步骤：步骤1、采集语音、视频双模态的情感数据集；步骤2、分别对语音数据和视频数据进行预处理；步骤3、将预处理后的语谱图和视频图像作为输入分别通过语音特征提取网络和视频情感特征提取网络提取语音情感特征向量和视频情感特征向量；步骤4、将提取的语音情感特征向量faudio和视频情感特征向量fvideo，通过拼接得到融合后的情感特征向量fe，将融合后的特征fe作为输入，通过一个全连接神经网络对情感进行分类得到情感标签。该方法即对语音和视频两种不同模态的数据分别进行情感特征提取，然后将得到的特征做拼接处理，最后利用融合特征进行情感识别的方法，有效提升了识别的精度。