公开(公告)号：CN116758451A

公开(公告)日：2023-09-15

申请号：CN202310601381.8

申请日：2023-05-24

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学(山东省科学院)

Inventor： 张鹏 ,  赵晖 ,  李美娟 ,  陈弈达 ,  李健 ,  汪付强 ,  刘祥志 ,  张建强 ,  吴晓明

IPC: G06V20/40 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于情感计算技术领域，提供了基于多尺度和全局交叉注意力的视听情感识别方法及系统，通过多尺度卷积注意力模块，提取不同上下文尺度的模态关键情感特征，弥补了单一尺度特征不足以表达人类复杂情感的缺陷。通过全局交叉注意力模块，同时考虑模态间和模态内的交互，从而学习更丰富的模态交互信息，并且减少了融合特征中的冗余。最后又设计了多尺度特征学习模块，从融合特征中进一步学习对两个模态共同有意义的情感信息。通过以上改进，最终所提出的方法能够实现更好的情感识别准确率和更高效的情感识别效率。

公开(公告)号：CN116884441A

公开(公告)日：2023-10-13

申请号：CN202310911528.3

申请日：2023-07-24

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学(山东省科学院)

Inventor： 张鹏 ,  李美娟 ,  赵晖 ,  陈弈达 ,  汪付强 ,  赵微 ,  梁艳 ,  李晔 ,  吴晓明

IPC: G10L25/63 ,  G10L25/24 ,  G10L25/27

Abstract: 本发明提供了一种基于时频特征双重融合的语音情感识别方法及系统，涉及语音情感识别领域，包括：获取待识别的语音信号并进行预处理，得到语音信号的梅尔频率倒谱系数；提取梅尔频率倒谱系数的深度时间特征和深度频率特征；将深度时间特征和深度频率特征进行自适应融合和全局融合，得到时频特征；对得到的时频特征进行再整形，馈入全连接网络中进行分类，根据分类结果确定语音信号对应的情感。本发明能够充分利用语音信号所包含的情感信息特征，提高语音情感识别的准确率。

公开(公告)号：CN116884433A

公开(公告)日：2023-10-13

申请号：CN202310806300.8

申请日：2023-07-03

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学(山东省科学院)

Inventor： 张鹏 ,  陈弈达 ,  李美娟 ,  赵晖 ,  李健 ,  梁艳 ,  汪付强 ,  吴晓明 ,  张建强

IPC: G10L25/51 ,  G10L25/30 ,  G10L25/69

Abstract: 本发明提供了一种基于图注意力的伪造语音检测方法及系统，通过预加重及自监督预训练模型和单分类学习，弥补了假语音层出不穷、训练数据不足的缺陷；在提取高级特征表示时，对通道分配注意力，捕获了更加丰富的通道信息；在使用图计算进行图建模时关注到信息量更丰富的频域子带和时域段；在多级协同异构图注意力融合机制中，充分考虑时域和频域信息的影响和交互，实现了更高效率、更强泛化性能和更准确识别率的伪造语音检测。