公开(公告)号：CN119538168A

公开(公告)日：2025-02-28

申请号：CN202311111253.1

申请日：2023-08-30

Applicant: 复旦大学

Inventor： 张立华 ,  杨鼎康 ,  李明程 ,  邝昊鹏 ,  王顺利 ,  钟楚轶 ,  雷雨萱

IPC: G06F18/25 ,  G06F18/213 ,  G06F18/2431 ,  G06F18/2415 ,  G06F40/30 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明涉及一种基于脑认知启发的多模态人类意图理解系统，包括多模态信息采集单元、互交叉注意力强化单元、自交叉注意力强化单元、源模态更新单元、自适应多模态信息融合单元、连续维度的情感意图理解单元，以及细粒度的行为意图理解单元。与现有技术相比，本发明充分融合来自语言、音频以及视频模态的有效特征语义，利用不同强化和更新单元中的注意力机制实现了高效的多模态建模，进一步完成了多任务模式下的人类情感和行为意图理解，有效的解决了真实应用场景下人类意图理解准确率低，多模态利用率不足以及系统鲁棒性差等问题。

公开(公告)号：CN119577568A

公开(公告)日：2025-03-07

申请号：CN202311113314.8

申请日：2023-08-30

Applicant: 复旦大学

Inventor： 张立华 ,  李明程 ,  杨鼎康 ,  王顺利 ,  王帅兵 ,  雷雨萱 ,  邝昊鹏 ,  苏柳桢

IPC: G06F18/2415 ,  G06F18/2431 ,  G06F16/35 ,  G06F16/334 ,  G06F16/3329 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种适用于不确定模态缺失的多模态情感识别系统，包括多模态信息感知单元、异构模态缺失样本生成单元、多粒度跨模态交互单元、特征语义一致性约束单元、自适应特征增强单元、选择性特征过滤单元、特征集成单元、情感识别单元以及情感显示单元。与现有技术相比，本发明通能够深入挖掘缺失模态中元素之间的自然相关性，最大限度地激发缺失模态潜在的能力，从而有效提升缺失模态场景下多模态情感识别方法的鲁棒性。