-
公开(公告)号:CN119807415A
公开(公告)日:2025-04-11
申请号:CN202411859384.2
申请日:2024-12-17
Applicant: 东北大学
IPC: G06F16/35 , G06F16/334 , G06F18/25 , G06N3/0455 , G06N3/0442 , G06N3/0895
Abstract: 本发明提供了一种对比增强非同构模态融合的多模态情感分析方法,涉及情感分析技术领域,本发明通过将视觉模态特征和音频模态特征进行融合的方法,来弥补和文本模态之间信息密度的差异,本发明设计了联合对比学习,通过样本内的对比学习和内本间的对比学习,得到样本内的损失和样本间的损失,样本内的对比学习,旨在增强模态间一致性,样本间的对比学习,保障每种模态特征的独立性和独特性,以避免过度融合导致的信息丢失,由此,本发明兼顾模态间的互补性和差异性,并弥补视觉和音频模态与文本模态间信息密度的差异,提升情感分析模型的性能与泛化能力。