公开(公告)号：CN118097240A

公开(公告)日：2024-05-28

申请号：CN202410158430.X

申请日：2024-02-04

Applicant: 南开大学

Inventor： 杨巨峰 ,  夏无忧 ,  贾国力

IPC: G06V10/764 ,  G06V10/80 ,  G06F40/30 ,  G06N3/0895 ,  G06F18/213

Abstract: 本发明提供一种基于保留单模态信息的半监督图文情感分析方法，属情感分析领域。包括：采集待检测数据元组，进行多模态数据特征提取，获得初始特征；对初始特征进行解耦，获得共有特征和私有特征，并对应训练获得多模态分类器和单模态分类器；通过多模态分类器及公共标签筛选私有特征，获得单模态标签；将单模态分类器与多模态分类器的输出特征拼接，用于控制样本情绪的主导模态选择，获得主导模态特征并进行多模态间的交叉注意力融合，获得融合多模态特征；通过双层置信度进行过滤获得样本终伪标签；半监督训练样本终伪标签并进行图文情感分析。本发明综合考虑了半监督学习的模态异质性和模态之间的关系，提升了图文对的情感识别准确度。

公开(公告)号：CN118093914A

公开(公告)日：2024-05-28

申请号：CN202410158251.6

申请日：2024-02-04

Applicant: 南开大学

Inventor： 杨巨峰 ,  夏无忧 ,  刘胜哲 ,  秦荣 ,  贾国力

IPC: G06F16/53 ,  G06F16/58 ,  G06F16/55

Abstract: 本发明涉及情感分析技术领域，提供一种基于跨模态情感交互的对话图像检索方法。包括：引入情感识别数据集并对其中的表情包进行聚类，获得多个情感类别；对同一情感类别中不同图像表征进行对比学习，对不同情感类别的图像表征进行对比学习，获得局部特征增强后的表情包的图像样本；将对话样本及图像样本进行编码，对编码后的数据进行初始特征提取并进行图文特征的对齐，获得多模态特征；由多模态特征计算获得每个图像样本与每条对话样本间的匹配分数，组建匹配的正样本对及不匹配的负样本对；进行优化训练获得检索模型，进行表情包检索。本发明同时使用对话和表情包的情感信息，提高了对话与表情检索方法的性能及准确度。