-
公开(公告)号：CN114973044B
公开(公告)日：2024-09-24
申请号：CN202110195691.5
申请日：2021-02-22
Applicant: 上海大学
IPC: G06V20/40 , G06V10/80 , G06V10/82 , G06N3/0442
Abstract: 本发明涉及一种基于双模态信息增强多头注意力的视频情感分析方法，包括：对视频进行预处理；从预处理后的数据中获取单模态原始特征；基于单模态原始特征，进一步获取单模态深层特征，其中，单模态深层特征包括文本深层特征、音频深层特征和视频深层特征；根据单模态深层特征，提取出单模态间的交互信息，即得到双模态信息；从不同特征子空间计算双模态注意力，获取双模态间的交互信息；将双模态信息与双模态间交互信息进行融合及分类预测，得到对应的情感分析预测结果。与现有技术相比，本发明在提取单模态特征后，利用其获取模态间的交互信息，再进一步得到不同交互信息的独立性和一致性信息，从而进行有效的特征融合和准确的情感预测。
-
公开(公告)号：CN114973045B
公开(公告)日：2024-09-24
申请号：CN202110195692.X
申请日：2021-02-22
Applicant: 上海大学
IPC: G06V20/40 , G06V10/80 , G06V10/82 , G06N3/0442 , G06N3/08
Abstract: 本发明涉及一种基于多任务学习的多模态情感分析方法，包括：对视频进行预处理；从预处理后的数据中获取单模态原始特征；从单模态原始特征中进一步获取单模态深层特征；根据单模态深层特征，构造基于神经网络模型的双模态多任务学习框架；将双模态多任务学习框架中隐藏层的值作为双模态特征，并将双模态特征保存至本地；根据用户需求，将本地保存的双模态特征或双模态多任务学习框架中隐藏层的值进行多模态融合及分类预测，得到对应的情感分析结果。与现有技术相比，本发明利用模态级细粒度标注信息进行多任务学习以充分获取模态内部信息和模态间交互信息，并进行了层次化处理实现了模型的模块化，以此减小模型的时间开销与计算资源。
-
公开(公告)号：CN114973045A
公开(公告)日：2022-08-30
申请号：CN202110195692.X
申请日：2021-02-22
Applicant: 上海大学
Abstract: 本发明涉及一种基于多任务学习的多模态情感分析方法，包括：对视频进行预处理；从预处理后的数据中获取单模态原始特征；从单模态原始特征中进一步获取单模态深层特征；根据单模态深层特征，构造基于神经网络模型的双模态多任务学习框架；将双模态多任务学习框架中隐藏层的值作为双模态特征，并将双模态特征保存至本地；根据用户需求，将本地保存的双模态特征或双模态多任务学习框架中隐藏层的值进行多模态融合及分类预测，得到对应的情感分析结果。与现有技术相比，本发明利用模态级细粒度标注信息进行多任务学习以充分获取模态内部信息和模态间交互信息，并进行了层次化处理实现了模型的模块化，以此减小模型的时间开销与计算资源。
-
公开(公告)号：CN114973044A
公开(公告)日：2022-08-30
申请号：CN202110195691.5
申请日：2021-02-22
Applicant: 上海大学
Abstract: 本发明涉及一种基于双模态信息增强多头注意力的视频情感分析方法，包括：对视频进行预处理；从预处理后的数据中获取单模态原始特征；基于单模态原始特征，进一步获取单模态深层特征，其中，单模态深层特征包括文本深层特征、音频深层特征和视频深层特征；根据单模态深层特征，提取出单模态间的交互信息，即得到双模态信息；从不同特征子空间计算双模态注意力，获取双模态间的交互信息；将双模态信息与双模态间交互信息进行融合及分类预测，得到对应的情感分析预测结果。与现有技术相比，本发明在提取单模态特征后，利用其获取模态间的交互信息，再进一步得到不同交互信息的独立性和一致性信息，从而进行有效的特征融合和准确的情感预测。
-
-
-
Search Results
4
records
(took 0.012 seconds)
