公开(公告)号：CN116342934A

公开(公告)日：2023-06-27

申请号：CN202310214810.6

申请日：2023-03-08

Applicant: 南开大学

Inventor： 杨巨峰 ,  冯停磊 ,  刘佳烜

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/77 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于预训练优化的图像情感分析方法包括以下步骤：步骤1，首先定义影响图像情感分析的低层、中层、高层三个层级的特征等级，每层特征等级包含与情感相关的图像属性；步骤2，根据步骤1中所定义的影响图像情感分析的三层特征等级和每层的图像属性来确定对应的情感训练任务，进而分别得到低层、中层、高层三个特征等级的预训练骨干网络模型；步骤3，将步骤2得到的三个特征等级的预训练骨干网络模型中的情感相关的先验知识聚合到同一个下游目标骨干网络模型。本发明解决了以往深度神经网络应用于图像情感分析中时，没有提供情感相关的预训练参数的问题，可以充分捕获各个语义层级上的情感相关的特征。

公开(公告)号：CN118172588A

公开(公告)日：2024-06-11

申请号：CN202410132580.3

申请日：2024-01-31

Applicant: 南开大学

Inventor： 杨巨峰 ,  秦荣 ,  刘佳烜

IPC: G06V10/764 ,  G06V20/62 ,  G06V10/82 ,  G06V10/74 ,  G06N3/0895

Abstract: 本发明涉及人工智能技术领域，提供一种基于情感提示生成的多任务图像情感分析方法，包括：获得统一特征表示，并对统一特征表示解耦，获得第一任务特征表示、第二任务特征表示和第三任务特征表示；获得第一任务特征表示对应的情感字幕；将情感图像未包含情感对应的情感字幕转换为情感提示，最小化情感提示与第二任务特征表示之间的第一余弦相似度，最小化情感提示与第三任务特征表示之间的第二余弦相似度；聚合第三任务特征表示中的区域特征表示，生成背景表示，最小化背景表示与第二任务特征表示间的第三余弦相似度，获得模型；将情感图像输入模型，获得情感分析结果。本方法提高了图像情感分析模型理解图像情感的准确性。