-
公开(公告)号：CN117633587B
公开(公告)日：2024-12-06
申请号：CN202311573437.X
申请日：2023-11-23
Applicant: 北京理工大学珠海学院
IPC: G06F18/24 , G10L25/63 , G10L25/30 , G10L25/18 , G06F18/25 , G06N20/00 , G06N3/045 , G06N3/0464 , G06N3/048
Abstract: 本发明公开涉及基于迁移学习的音频和文本的宽时间范畴情感识别方法，通过使用预训练模型VGGish和BERTbase提取音频和文本两个模态的情感特征，从不同的角度对目标人物的情感进行分析；通过事实描述和文本描述进行情感特征的提取，在宽时间范畴内对目标人物目前的情感状态进行更准确的推理，通过在SVCEmotion数据集的音频和文本描述数据上的实验证明，VGGish和BERTbase预训练模型均能在本文使用的数据集上实现良好的效果，模型在预训练过程中学习到的参数能够有效的提升其在目标任务上的表现；对比实验证明，SVCEmotion数据集中针对宽时间范畴下的情感识别任务引入的情境描述可以为情感识别提供线索，且与事实描述结合能大幅提升情感识别效果。
-
公开(公告)号：CN117636426B
公开(公告)日：2024-11-22
申请号：CN202311573364.4
申请日：2023-11-23
Applicant: 北京理工大学珠海学院
IPC: G06V40/16 , G06V10/80 , G06V10/82 , G06V20/40 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/048
Abstract: 本公开涉及一种基于注意力机制的面部和情景情感识别方法，通过引入注意力机制，使模型在特征提取过程中将更多的注意力用于关键信息的学习，在两个支路的情感识别中都有效提升了模型的识别率。在面部表情识别支路，通道注意力机制的引入提升了模型对关键信息的表达能力，特征选择融合方法缓解了面部表情不确定性引起的模型表现差的问题。在情景支路使用多尺度融合的方式增强模型对图像高级语义和空间信息的表达能力，通过高级特征和低级特征的互补，提升了模型的情景情感识别效果，并在最后的对比实验中证明，本申请的情感识别方法在数据集上能够得到比其他方法更好的识别效果。
-
公开(公告)号：CN117636426A
公开(公告)日：2024-03-01
申请号：CN202311573364.4
申请日：2023-11-23
Applicant: 北京理工大学珠海学院
IPC: G06V40/16 , G06V10/80 , G06V10/82 , G06V20/40 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/048
Abstract: 本公开涉及一种基于注意力机制的面部和情景情感识别方法，通过引入注意力机制，使模型在特征提取过程中将更多的注意力用于关键信息的学习，在两个支路的情感识别中都有效提升了模型的识别率。在面部表情识别支路，通道注意力机制的引入提升了模型对关键信息的表达能力，特征选择融合方法缓解了面部表情不确定性引起的模型表现差的问题。在情景支路使用多尺度融合的方式增强模型对图像高级语义和空间信息的表达能力，通过高级特征和低级特征的互补，提升了模型的情景情感识别效果，并在最后的对比实验中证明，本申请的情感识别方法在数据集上能够得到比其他方法更好的识别效果。
-
Patent Agency Ranking
公开(公告)号：CN117149944A
公开(公告)日：2023-12-01
申请号：CN202310985679.3
申请日：2023-08-07
Applicant: 北京理工大学珠海学院
IPC: G06F16/33 , G06F16/34 , G06F40/289 , G06F40/30 , G06V20/62 , G06F16/783 , G06F18/24 , G06N3/045 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于宽时间范畴的多模态情境情感识别方法及系统，包括以下步骤：利用自然环境下的音视频资源，构建基于情境的视频情感数据集；基于BERT模型对视频情感数据集进行文本情感识别；通过引入通道注意力机制，对人物面部情感进行识别；构建基于注意力机制的多模态多分支融合模型，并通过多模态多分支融合模型得到最终的情感识别结果。本发明用于解决现有的多模态情感识别技术存在的仅针对当前时刻包含的信息进行情感挖掘、不能有效区分出对情感状态有影响的区域、跨模态不一致以及跨模态不平衡等的技术问题，从而实现具有鲁棒性的、情感表征能力更强的情感识别系统的目的。
-
公开(公告)号：CN118070208B
公开(公告)日：2024-11-05
申请号：CN202311573511.8
申请日：2023-11-23
Applicant: 北京理工大学珠海学院
IPC: G06F18/25 , G06F18/24 , G06N3/0464 , G06N3/045 , G06N3/048 , G06V40/16 , G06V20/40 , G10L25/63 , G10L25/57 , G10L25/24 , G10L25/18 , G10L19/02
Abstract: 本公开涉及一种多模态多分支融合的宽时间范畴情感识别系统构建方法；基于注意力机制的思想设计了鲁棒性较强的多模态多分支融合网络，该网络实现决策级的多模态融合，根据不同分支的识别结果对最终预测的贡献，动态的分配每个分支的权重。为多模态情感识别系统设计了一个基于注意力机制的多模态多分支融合网络。此外，将宽时间范畴的情境信息融入了多模态情感识别系统中，实现了宽时间范畴下的多模态情感识别。实验证明该网络能够有效的实现多模态多分支融合，且在多模态融合过程中，输入的分支越多，情感识别的效果越好，情境描述使实验结果实现了大幅提升，实验证明了多模态融合网络能够提升模型在复杂环境下的识别效果。
-
公开(公告)号：CN118070208A
公开(公告)日：2024-05-24
申请号：CN202311573511.8
申请日：2023-11-23
Applicant: 北京理工大学珠海学院
IPC: G06F18/25 , G06F18/24 , G06N3/0464 , G06N3/045 , G06N3/048 , G06V40/16 , G06V20/40 , G10L25/63 , G10L25/57 , G10L25/24 , G10L25/18 , G10L19/02
Abstract: 本公开涉及一种多模态多分支融合的宽时间范畴情感识别系统构建方法；基于注意力机制的思想设计了鲁棒性较强的多模态多分支融合网络，该网络实现决策级的多模态融合，根据不同分支的识别结果对最终预测的贡献，动态的分配每个分支的权重。为多模态情感识别系统设计了一个基于注意力机制的多模态多分支融合网络。此外，将宽时间范畴的情境信息融入了多模态情感识别系统中，实现了宽时间范畴下的多模态情感识别。实验证明该网络能够有效的实现多模态多分支融合，且在多模态融合过程中，输入的分支越多，情感识别的效果越好，情境描述使实验结果实现了大幅提升，实验证明了多模态融合网络能够提升模型在复杂环境下的识别效果。
-
公开(公告)号：CN117633587A
公开(公告)日：2024-03-01
申请号：CN202311573437.X
申请日：2023-11-23
Applicant: 北京理工大学珠海学院
IPC: G06F18/24 , G10L25/63 , G10L25/30 , G10L25/18 , G06F18/25 , G06N20/00 , G06N3/045 , G06N3/0464 , G06N3/048
Abstract: 本发明公开涉及基于迁移学习的音频和文本的宽时间范畴情感识别方法，通过使用预训练模型VGGish和BERTbase提取音频和文本两个模态的情感特征，从不同的角度对目标人物的情感进行分析；通过事实描述和文本描述进行情感特征的提取，在宽时间范畴内对目标人物目前的情感状态进行更准确的推理，通过在SVCEmotion数据集的音频和文本描述数据上的实验证明，VGGish和BERTbase预训练模型均能在本文使用的数据集上实现良好的效果，模型在预训练过程中学习到的参数能够有效的提升其在目标任务上的表现；对比实验证明，SVCEmotion数据集中针对宽时间范畴下的情感识别任务引入的情境描述可以为情感识别提供线索，且与事实描述结合能大幅提升情感识别效果。
-
公开(公告)号：CN117149944B
公开(公告)日：2024-04-23
申请号：CN202310985679.3
申请日：2023-08-07
Applicant: 北京理工大学珠海学院
IPC: G06F16/33 , G06F16/34 , G06F40/289 , G06F40/30 , G06V20/62 , G06F16/783 , G06F18/24 , G06N3/045 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于宽时间范畴的多模态情境情感识别方法及系统，包括以下步骤：利用自然环境下的音视频资源，构建基于情境的视频情感数据集；基于BERT模型对视频情感数据集进行文本情感识别；通过引入通道注意力机制，对人物面部情感进行识别；构建基于注意力机制的多模态多分支融合模型，并通过多模态多分支融合模型得到最终的情感识别结果。本发明用于解决现有的多模态情感识别技术存在的仅针对当前时刻包含的信息进行情感挖掘、不能有效区分出对情感状态有影响的区域、跨模态不一致以及跨模态不平衡等的技术问题，从而实现具有鲁棒性的、情感表征能力更强的情感识别系统的目的。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.031 seconds)
