公开(公告)号：CN118279805B

公开(公告)日：2024-10-01

申请号：CN202410676287.3

申请日：2024-05-29

Applicant: 吉林大学

Inventor： 康辉 ,  黄卓航 ,  王轲 ,  何雨润 ,  张书赫

IPC: G06V20/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06V10/80 ,  G06V10/82 ,  G10L25/63 ,  G10L25/24

Abstract: 本发明公开了一种基于多模态的远程情感识别方法，涉及语音处理和图像处理技术领域，包括：采集远程人员的实时视频模态数据和实时音频模态数据；对实时视频模态数据和实时音频模态数据预处理获得视频帧序列和原始音频数据；将视频帧序列和原始音频数据分别输入视频特征提取网络和音频特征提取网络，获得视频情感特征和音频情感特征；将视频情感特征和音频情感特征输入注意力计算网络获得音视频跨模态情感特征和视音频跨模态情感特征；将音视频跨模态情感特征和视音频跨模态情感特征融合为双模融合情感特征；将双模融合情感特征输入决策网络获得实时情感分类结果。本发明具有提高情感识别准确率的特点。

公开(公告)号：CN118279805A

公开(公告)日：2024-07-02

申请号：CN202410676287.3

申请日：2024-05-29

Applicant: 吉林大学

Inventor： 康辉 ,  黄卓航 ,  王轲 ,  何雨润 ,  张书赫

IPC: G06V20/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06V10/80 ,  G06V10/82 ,  G10L25/63 ,  G10L25/24

Abstract: 本发明公开了一种基于多模态的远程情感识别方法，涉及语音处理和图像处理技术领域，包括：采集远程人员的实时视频模态数据和实时音频模态数据；对实时视频模态数据和实时音频模态数据预处理获得视频帧序列和原始音频数据；将视频帧序列和原始音频数据分别输入视频特征提取网络和音频特征提取网络，获得视频情感特征和音频情感特征；将视频情感特征和音频情感特征输入注意力计算网络获得音视频跨模态情感特征和视音频跨模态情感特征；将音视频跨模态情感特征和视音频跨模态情感特征融合为双模融合情感特征；将双模融合情感特征输入决策网络获得实时情感分类结果。本发明具有提高情感识别准确率的特点。