公开(公告)号：CN118430043B

公开(公告)日：2024-10-29

申请号：CN202410523477.1

申请日：2024-04-28

Applicant: 北京邮电大学

Inventor： 李雅 ,  李启飞 ,  高迎明 ,  文宇华

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/82 ,  G06V10/764 ,  G06V10/80 ,  G06N3/048 ,  G06N3/0895 ,  G06N3/0442 ,  G06N3/084 ,  G10L25/63 ,  G10L25/57

Abstract: 本申请提供多模态情感识别模型训练方法、多模态情感识别方法及设备，方法包括：基于对比学习方式对多个情感识别对象各自对应的第一模态特征和第二模态特征进行情感信息对齐处理，采用难分样本挖掘方式和交叉注意力机制进行特征融合，采用融合特征对第一二分类器、第二二分类器和四分类器进行多任务联合训练，以使第一二分类器和第二二分类器用于识别融合特征是否匹配对应的情感标签，并将四分类器训练为用于识别情感识别对象所属情感类别的多模态情感识别模型。本申请能够有效提高模型整体的性能和泛化能力，并能够缓解训练过程中不同模态在对于情感识别任务贡献度不同的问题，能够辅助多模态信息融合提高情感识别的正确率和鲁棒性。

公开(公告)号：CN118430043A

公开(公告)日：2024-08-02

申请号：CN202410523477.1

申请日：2024-04-28

Applicant: 北京邮电大学

Inventor： 李雅 ,  李启飞 ,  高迎明 ,  文宇华

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/82 ,  G06V10/764 ,  G06V10/80 ,  G06N3/048 ,  G06N3/0895 ,  G06N3/0442 ,  G06N3/084 ,  G10L25/63 ,  G10L25/57

Abstract: 本申请提供多模态情感识别模型训练方法、多模态情感识别方法及设备，方法包括：基于对比学习方式对多个情感识别对象各自对应的第一模态特征和第二模态特征进行情感信息对齐处理，采用难分样本挖掘方式和交叉注意力机制进行特征融合，采用融合特征对第一二分类器、第二二分类器和四分类器进行多任务联合训练，以使第一二分类器和第二二分类器用于识别融合特征是否匹配对应的情感标签，并将四分类器训练为用于识别情感识别对象所属情感类别的多模态情感识别模型。本申请能够有效提高模型整体的性能和泛化能力，并能够缓解训练过程中不同模态在对于情感识别任务贡献度不同的问题，能够辅助多模态信息融合提高情感识别的正确率和鲁棒性。