公开(公告)号：CN117591858A

公开(公告)日：2024-02-23

申请号：CN202311585304.4

申请日：2023-11-24

Applicant: 南开大学

Inventor： 秦勇 ,  孙浩钦 ,  赵石顽 ,  贺佳贝 ,  陈杨 ,  刘成 ,  王诗瑶

IPC: G06F18/213 ,  G06F18/24 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/08 ,  G06F16/35

Abstract: 本发明属于多模态情感识别领域和表征学习领域，更具体地涉及一种细粒度表征解耦学习的情感识别模型构建方法。首先，使用模态共享编码器和模态私有编码器提取模态的共享表征和私有表征。其次，使用细粒度对齐方法约束模态共享表征的学习，从而捕捉模态一致性。使用细粒度差异化方法来学习模态私有表征并增强其多样性。随后，使用细粒度预测方法以确保编码器输出表征的标签保持不变。最后，由跨模态融合方法构建更丰富的表示形式用于情感识别任务。