-
公开(公告)号：CN118013461A
公开(公告)日：2024-05-10
申请号：CN202410243123.1
申请日：2024-03-04
Applicant: 杭州电子科技大学
IPC: G06F18/25 , G06F18/213 , G06N3/049 , G06N3/0455 , G06V10/80 , G06V10/40
Abstract: 本发明公开一种降低短时模态冗余信息的情感识别方法及其系统。本发明首先获取多模态数据并从中提取富含时序性价值的不同模态的特征。然后，将其中不同模态的特征处理为对应的长短时特征。并从短时特征的角度思考，认为其在与长时特征融合时需考虑冗余信息的干扰问题，并使用脉冲神经元去过滤多余部分。最后，依据短时特征的特性，使其在与长时特征融合时更加贴合，降低短时特征对长时特征本身的干扰。本发明首次将长短时多模态的概念引入情感检测领域，通过短时模态信息辅助上下文长时文本模态的思想，过滤短时模态特征信息，进一步提高识别情感的能力。
-
公开(公告)号：CN118297053A
公开(公告)日：2024-07-05
申请号：CN202410485156.7
申请日：2024-04-22
Applicant: 杭州电子科技大学
IPC: G06F40/253 , G06F40/30 , G06N3/0475 , G06N3/0455 , G06N3/094 , G06F18/25
Abstract: 本发明公开一种基于标签嵌入的多模态多标签情感分析方法及系统。首先获取文本、音频和视频三种模态特征序列以及标签嵌入，通过对抗式多模态细化模块得到它们的公有特征序列和以及各自的私有特征序列。然后将公有特征序列和私有特征序列以及标签嵌入输入到训练好的情感标签预测模块中，得到待预测对象的情感预测结果。本发明采用Transformer编码器进行单一模态特征提取，并且采用了对抗生成器进一步将模态特征细化，为了更加细粒度地融合多模态特征，还采用了跨模态编码器，还有为了充分探索标签和模态之间联系，引入了标签引导解码器，克服了模态和标签交互不足的问题，并且还能提高多模态多标签情感分析的准确率。
-
公开(公告)号：CN118734248A
公开(公告)日：2024-10-01
申请号：CN202410859676.X
申请日：2024-06-28
Applicant: 杭州电子科技大学
IPC: G06F18/25 , G06F18/241 , G06V10/80 , G06V20/70 , G06V10/82 , G06V10/764 , G06V10/74 , G06N3/0442 , G06N3/0455 , G06N3/08
Abstract: 本发明公开一种跨样本模态动态轮转的情感识别方法及其系统。首先获取多模态数据及情感分类注释，再进行对应的模态编码器预处理，得到对应初步模态特征信息。然后，使用门控残差自注意力机制捕获更深层次的模态注意力特征，并从模态情感语义信息丰富程度考量，将单模态独立情感注释与其结合共同计算出集成后的模态分数序列，进而该轮转周期下确定的模态轮转顺序。最后，使用基于跨模态门控残差注意力机制的多模态融合手段，依照该轮转顺序进行融合。本发明提出了使模态自身依据独立情感注释动态调整融合顺序的思想，着重考虑了模态之间的情感语义信息不平衡问题，探究模态主次问题对多模态情感检测领域的影响，突破了传统的主次模式。
-
公开(公告)号：CN118378212A
公开(公告)日：2024-07-23
申请号：CN202410490885.1
申请日：2024-04-23
Applicant: 杭州电子科技大学
IPC: G06F18/25 , G06F40/30 , G06N3/045 , G06N3/0442 , G06N3/0499 , G06N3/09 , G06F18/21
Abstract: 本发明提出基于细粒度语义分解网络的多模态情感分析方法及其系统，多模态数据通过细粒度语义分解网络利用模态内语义解纠缠过程是分析同一模态内隐性语义线索，模态间语义解纠缠被用来同时检测跨模态的共同和内在语义线索。在此基础上，基于跨语义空间语义交互网络，从全局的角度探讨了语言和非语言语义空间之间的长距离跨语义空间的语义联系。上述具有局部和全局视图的语义解纠缠过程显著地增强情感检测模型的鲁棒性和性能，即使对于由多个语义线索组成的情感情况。
-
-
-
Search Results
4
records
(took 0.018 seconds)
