公开(公告)号：CN119293740B

公开(公告)日：2025-03-07

申请号：CN202411833608.2

申请日：2024-12-13

Applicant: 南京信息工程大学

Inventor： 蔡创新 ,  潘志庚 ,  邹宇 ,  林贤煊 ,  夏先亮 ,  张考 ,  胡志华 ,  李昌利 ,  张婧 ,  王爽

IPC: G06F18/25 ,  G06F18/241 ,  G06V40/16 ,  G06V40/10 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/08 ,  G06V10/82

Abstract: 本发明公开了一种多模态对话情感识别方法，涉及多模态情感识别和人机交互技术领域，包括：利用人脸识别模型和姿态识别工具分别得到表情时序特征和姿态时序特征；注意力模块对表情和姿态特征进行自适应加权融合，获得融合的视觉模态特征；构建上下文语境信息的新表达并基于提示的情感建模技术得到情感表示并通过文本编码器提取文本模态特征；使用数据向量化模型提取说话者对应语音的模态特征；提出跳跃连接多头注意力跨模态融合方法，对多模态的模态特征进行跨模态对齐与融合，之后通过情感分类器模块进行情感识别。本发明有效解决了传统多模态情感识别中关键情感线索识别不足及融合不充分的问题，提高了情感识别的准确性和鲁棒性。

公开(公告)号：CN119293740A

公开(公告)日：2025-01-10

申请号：CN202411833608.2

申请日：2024-12-13

Applicant: 南京信息工程大学

Inventor： 蔡创新 ,  潘志庚 ,  邹宇 ,  林贤煊 ,  夏先亮 ,  张考 ,  胡志华 ,  李昌利 ,  张婧 ,  王爽

IPC: G06F18/25 ,  G06F18/241 ,  G06V40/16 ,  G06V40/10 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/08 ,  G06V10/82

Abstract: 本发明公开了一种多模态对话情感识别方法，涉及多模态情感识别和人机交互技术领域，包括：利用人脸识别模型和姿态识别工具分别得到表情时序特征和姿态时序特征；注意力模块对表情和姿态特征进行自适应加权融合，获得融合的视觉模态特征；构建上下文语境信息的新表达并基于提示的情感建模技术得到情感表示并通过文本编码器提取文本模态特征；使用数据向量化模型提取说话者对应语音的模态特征；提出跳跃连接多头注意力跨模态融合方法，对多模态的模态特征进行跨模态对齐与融合，之后通过情感分类器模块进行情感识别。本发明有效解决了传统多模态情感识别中关键情感线索识别不足及融合不充分的问题，提高了情感识别的准确性和鲁棒性。