公开(公告)号：CN119559472A

公开(公告)日：2025-03-04

申请号：CN202411625181.7

申请日：2024-11-14

Applicant: 南京邮电大学

Inventor： 孙宁 ,  王月 ,  张维亮

IPC: G06V10/80 ,  G06V20/70 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/0895 ,  G06N3/096

Abstract: 本发明公开了一种多模态情感识别方法及系统，涉及图像处理技术领域，包括以下步骤：获取多模态情感数据和缺失情感数据，并进行标注，得到标注后的多模态情感数据和缺失情感数据，其中，所述多模态情感数据包括图像、语音和文本特征；将标注后的多模态情感数据和缺失情感数据输入至预先建立的基于蒸馏机制与对比学习的可训练的深度神经网络模型内，输出得到融合特征和更新的单模态特征；基于融合特征和更新的单模态特征，生成正负样本，基于正负样本将融合特征输入至全连接层，得到情感识别预测结果。