公开(公告)号：CN118097240A

公开(公告)日：2024-05-28

申请号：CN202410158430.X

申请日：2024-02-04

Applicant: 南开大学

Inventor： 杨巨峰 ,  夏无忧 ,  贾国力

IPC: G06V10/764 ,  G06V10/80 ,  G06F40/30 ,  G06N3/0895 ,  G06F18/213

Abstract: 本发明提供一种基于保留单模态信息的半监督图文情感分析方法，属情感分析领域。包括：采集待检测数据元组，进行多模态数据特征提取，获得初始特征；对初始特征进行解耦，获得共有特征和私有特征，并对应训练获得多模态分类器和单模态分类器；通过多模态分类器及公共标签筛选私有特征，获得单模态标签；将单模态分类器与多模态分类器的输出特征拼接，用于控制样本情绪的主导模态选择，获得主导模态特征并进行多模态间的交叉注意力融合，获得融合多模态特征；通过双层置信度进行过滤获得样本终伪标签；半监督训练样本终伪标签并进行图文情感分析。本发明综合考虑了半监督学习的模态异质性和模态之间的关系，提升了图文对的情感识别准确度。

公开(公告)号：CN118093914A

公开(公告)日：2024-05-28

申请号：CN202410158251.6

申请日：2024-02-04

Applicant: 南开大学

Inventor： 杨巨峰 ,  夏无忧 ,  刘胜哲 ,  秦荣 ,  贾国力

IPC: G06F16/53 ,  G06F16/58 ,  G06F16/55

Abstract: 本发明涉及情感分析技术领域，提供一种基于跨模态情感交互的对话图像检索方法。包括：引入情感识别数据集并对其中的表情包进行聚类，获得多个情感类别；对同一情感类别中不同图像表征进行对比学习，对不同情感类别的图像表征进行对比学习，获得局部特征增强后的表情包的图像样本；将对话样本及图像样本进行编码，对编码后的数据进行初始特征提取并进行图文特征的对齐，获得多模态特征；由多模态特征计算获得每个图像样本与每条对话样本间的匹配分数，组建匹配的正样本对及不匹配的负样本对；进行优化训练获得检索模型，进行表情包检索。本发明同时使用对话和表情包的情感信息，提高了对话与表情检索方法的性能及准确度。

公开(公告)号：CN116611024A

公开(公告)日：2023-08-18

申请号：CN202310555752.3

申请日：2023-05-16

Applicant: 南开大学

Inventor： 杨巨峰 ,  文长崧 ,  贾国力

IPC: G06F18/25 ,  G06F18/2415 ,  G06F18/241 ,  G06F18/28 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/047 ,  G06N3/0895

Abstract: 本发明公开了一种基于事实和情感对立性的多模态反讽检测方法，步骤1、获得待检测数据元组包括文本和图像，通过两个特征提取分支获得图像特征数据和文本特征数据；步骤2、利用隐式的跨模态注意力机制实现特征对齐处理；步骤3、实现多模态数据的语义和情感不一致性建模；步骤4、计算语义不一致性；步骤5、获得图像特征与文本特征情感极性的差值；步骤6、基于图像特征与文本特征情感极性的差值和不一致性值进行反讽检测，得到检测结果。与现有技术相比，本发明在利用多模态反讽检测数据集上表现出了优秀的预测性能，超过了所有现有的方法。本发明可以精确对给定图像是否属于讽刺情感类别进行检测。