公开(公告)号：CN118172588A

公开(公告)日：2024-06-11

申请号：CN202410132580.3

申请日：2024-01-31

Applicant: 南开大学

Inventor： 杨巨峰 ,  秦荣 ,  刘佳烜

IPC: G06V10/764 ,  G06V20/62 ,  G06V10/82 ,  G06V10/74 ,  G06N3/0895

Abstract: 本发明涉及人工智能技术领域，提供一种基于情感提示生成的多任务图像情感分析方法，包括：获得统一特征表示，并对统一特征表示解耦，获得第一任务特征表示、第二任务特征表示和第三任务特征表示；获得第一任务特征表示对应的情感字幕；将情感图像未包含情感对应的情感字幕转换为情感提示，最小化情感提示与第二任务特征表示之间的第一余弦相似度，最小化情感提示与第三任务特征表示之间的第二余弦相似度；聚合第三任务特征表示中的区域特征表示，生成背景表示，最小化背景表示与第二任务特征表示间的第三余弦相似度，获得模型；将情感图像输入模型，获得情感分析结果。本方法提高了图像情感分析模型理解图像情感的准确性。

公开(公告)号：CN118093914A

公开(公告)日：2024-05-28

申请号：CN202410158251.6

申请日：2024-02-04

Applicant: 南开大学

Inventor： 杨巨峰 ,  夏无忧 ,  刘胜哲 ,  秦荣 ,  贾国力

IPC: G06F16/53 ,  G06F16/58 ,  G06F16/55

Abstract: 本发明涉及情感分析技术领域，提供一种基于跨模态情感交互的对话图像检索方法。包括：引入情感识别数据集并对其中的表情包进行聚类，获得多个情感类别；对同一情感类别中不同图像表征进行对比学习，对不同情感类别的图像表征进行对比学习，获得局部特征增强后的表情包的图像样本；将对话样本及图像样本进行编码，对编码后的数据进行初始特征提取并进行图文特征的对齐，获得多模态特征；由多模态特征计算获得每个图像样本与每条对话样本间的匹配分数，组建匹配的正样本对及不匹配的负样本对；进行优化训练获得检索模型，进行表情包检索。本发明同时使用对话和表情包的情感信息，提高了对话与表情检索方法的性能及准确度。