公开(公告)号：CN116266394A

公开(公告)日：2023-06-20

申请号：CN202111544918.9

申请日：2021-12-16

Applicant: 广东工业大学

Inventor： 叶一凡 ,  陈静 ,  谢怀逸 ,  陈素琪 ,  苏成悦 ,  叶永青

IPC: G06V20/40 ,  G06F40/35 ,  G06F40/253 ,  G06N3/0442 ,  G06N3/08 ,  G10L25/30 ,  G10L25/63 ,  G06V10/764 ,  G06V10/82

Abstract: 本申请提供一种多模态的情绪识别方法、设备及计算机可读存储介质，该方法包括：获取目标视频，并进行信息获取处理，得到视频流信息、语音信息以及文本信息；基于情绪识别模型的视频情绪识别子模型，根据视频流信息确定第一情绪特征矩阵；基于语音情绪识别子模型，根据语音信息确定第二情绪特征矩阵；基于文本情绪识别子模型，根据文本信息确定第三情绪特征矩阵；对第一情绪特征矩阵、第二情绪特征矩阵以及第三情绪特征矩阵进行融合，得到第四情绪特征矩阵；对第四情绪特征矩阵进行分类处理，得到情绪信息。本申请通过情绪识别模型对目标视频对应的视频流信息、语音信息和文本信息进行多模态的情绪识别，能够提升对视频中人物的情感识别的准确性。