公开(公告)号：CN116342934A

公开(公告)日：2023-06-27

申请号：CN202310214810.6

申请日：2023-03-08

Applicant: 南开大学

Inventor： 杨巨峰 ,  冯停磊 ,  刘佳烜

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/77 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于预训练优化的图像情感分析方法包括以下步骤：步骤1，首先定义影响图像情感分析的低层、中层、高层三个层级的特征等级，每层特征等级包含与情感相关的图像属性；步骤2，根据步骤1中所定义的影响图像情感分析的三层特征等级和每层的图像属性来确定对应的情感训练任务，进而分别得到低层、中层、高层三个特征等级的预训练骨干网络模型；步骤3，将步骤2得到的三个特征等级的预训练骨干网络模型中的情感相关的先验知识聚合到同一个下游目标骨干网络模型。本发明解决了以往深度神经网络应用于图像情感分析中时，没有提供情感相关的预训练参数的问题，可以充分捕获各个语义层级上的情感相关的特征。

公开(公告)号：CN116228646A

公开(公告)日：2023-06-06

申请号：CN202211627823.8

申请日：2022-12-17

Applicant: 南开大学

Inventor： 杨巨峰 ,  冯停磊 ,  翟英杰

IPC: G06T7/00 ,  G06N3/084 ,  G06N3/048 ,  G06N3/0464

Abstract: 本发明公开了一种基于卷积神经网络的图像复杂度评估方法，包括以下步骤，使用双分支卷积神经网络分别提取图像的细节特征和语义信息，并在预测阶段将这两种特征进行融合；提出一种空间分布注意力模块，针对图像复杂度进行专门设计，使得提取特征可以根据特征的空间分布自适应地优化；在预测阶段，将所述特征分别输入到两个预测头分支中，其中全局复杂度分数预测头通过全连接神经网络预测输入图像的全局复杂度，局部复杂度热度图预测头通过卷积神经网络预测输入图像的局部复杂度热度图；本发明在复杂度评估数据集上表现出了优秀的复杂度预测性能，超过现有方法。对于给定图像，本发明可以精确给出全局复杂度得分与像素级别的复杂度热度图。