-
公开(公告)号：CN114419509B
公开(公告)日：2023-04-18
申请号：CN202210081912.0
申请日：2022-01-24
Applicant: 烟台大学
IPC: G06V20/40 , G06V10/80 , G06V10/764 , G06V10/82 , G06N3/0442 , G06N3/0464 , G06N3/09
Abstract: 本申请实施例公开了一种多模态情感分析方法、装置及电子设备。该多模态情感分析方法能够基于目标视频的至少三个单模态数据通过特征级融合及决策级融合的混合融合策略进行情感分析，相较于单模态情感分析模型，融合多模态特征的情感分析方法更好地利用多种模态之间的交互信息以更有效地反映用户的真实情感，且通过结合混合融合策略进行情感分析能有效提高情感分析结果的准确性。
-
公开(公告)号：CN115983280A
公开(公告)日：2023-04-18
申请号：CN202310081044.0
申请日：2023-01-31
Applicant: 烟台大学
IPC: G06F40/30 , G06F18/24 , G06N3/0455 , G06N3/09
Abstract: 本发明提出了面向不确定模态缺失的多模态情感分析方法及系统，涉及数据处理技术领域，具体方案包括：获取带有不确定缺失的多模态数据，包括三种模态：文本、视觉和音频；通过训练后的多模态情感分析网络处理所述三种模态数据，以生成并输出最终的情感分类；本发明基于模态翻译模块，将视觉和音频模态翻译成文本模态，提高视觉和音频模态质量并且能够捕获不同模态之间的深层交互；通过对完整模态进行预训练，得到完整模态的联合特征来指导缺失模态的联合特征向完整模态的联合特征逼近，不需要考虑有哪种模态缺失，只需要向完整模态的联合特征向量逼近即可，具有更强的通用性。
-
公开(公告)号：CN114419509A
公开(公告)日：2022-04-29
申请号：CN202210081912.0
申请日：2022-01-24
Applicant: 烟台大学
Abstract: 本申请实施例公开了一种多模态情感分析方法、装置及电子设备。该多模态情感分析方法能够基于目标视频的至少三个单模态数据通过特征级融合及决策级融合的混合融合策略进行情感分析，相较于单模态情感分析模型，融合多模态特征的情感分析方法更好地利用多种模态之间的交互信息以更有效地反映用户的真实情感，且通过结合混合融合策略进行情感分析能有效提高情感分析结果的准确性。
-
公开(公告)号：CN115983280B
公开(公告)日：2023-08-15
申请号：CN202310081044.0
申请日：2023-01-31
Applicant: 烟台大学
IPC: G06F40/30 , G06F18/24 , G06N3/0455 , G06N3/09
Abstract: 本发明提出了面向不确定模态缺失的多模态情感分析方法及系统，涉及数据处理技术领域，具体方案包括：获取带有不确定缺失的多模态数据，包括三种模态：文本、视觉和音频；通过训练后的多模态情感分析网络处理所述三种模态数据，以生成并输出最终的情感分类；本发明基于模态翻译模块，将视觉和音频模态翻译成文本模态，提高视觉和音频模态质量并且能够捕获不同模态之间的深层交互；通过对完整模态进行预训练，得到完整模态的联合特征来指导缺失模态的联合特征向完整模态的联合特征逼近，不需要考虑有哪种模态缺失，只需要向完整模态的联合特征向量逼近即可，具有更强的通用性。
-
-
-
Search Results
4
records
(took 0.018 seconds)
