公开(公告)号：CN117372835A

公开(公告)日：2024-01-09

申请号：CN202311215472.4

申请日：2023-09-19

Applicant: 南开大学

Inventor： 杨巨峰 ,  文长崧 ,  张鑫 ,  姚星旭

IPC: G06V10/82 ,  G06V10/774 ,  G06V40/16

Abstract: 本发明公开了一种基于顺序标签分布学习的图像美学分析方法，对输入的批量美学图像进行预处理和初始图像特征提取；提取VGG网络softmax层的输出作为图像特征的预测结果；对于输出的图像预测结果与真实标注的顺序标签进行损失函数的计算；并将得到的损失函数值进行梯度回传，得到顺序标签分布学习的VGG网络；将待分析美学图像进行随机裁剪的图像增强处理后将增强后的美学图像送入VGG网络，经过前向传播后得到预测的美学分析顺序标签分布；针对数据集中所有数据利用顺序标签学习的VGG网络进行训练。与现有技术相比，本发明在各个指标上全面的提高了已有范式的性能。

公开(公告)号：CN117975016A

公开(公告)日：2024-05-03

申请号：CN202410196744.9

申请日：2024-02-22

Applicant: 南开大学

Inventor： 杨巨峰 ,  文长崧

IPC: G06V10/26 ,  G06N3/0455 ,  G06N3/0895 ,  G06V10/762 ,  G06V10/82 ,  G06F16/53

Abstract: 本发明涉及计算机视觉处理技术领域，尤其涉及一种基于多粒度自监督的少样本分割方法，包括如下步骤：S1：分割新类别数据，S2：建立自监督学习模型，S3：建立图像块级的自监督学习模型，S4：建立超像素级的自监督学习模型，S5：建立少样本语义分割基线模型，S6：联合训练少样本语义分割基线模型、图像块级的自监督学习模型和超像素级的自监督学习模型；本发明提出了基于图像块的自监督学习方法，提出了基于超像素的自监督学习方法，在少样本分割数据集上表现出了优秀的预测性能，可以精确的对查询图像指定类别进行分割。

公开(公告)号：CN116611024A

公开(公告)日：2023-08-18

申请号：CN202310555752.3

申请日：2023-05-16

Applicant: 南开大学

Inventor： 杨巨峰 ,  文长崧 ,  贾国力

IPC: G06F18/25 ,  G06F18/2415 ,  G06F18/241 ,  G06F18/28 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/047 ,  G06N3/0895

Abstract: 本发明公开了一种基于事实和情感对立性的多模态反讽检测方法，步骤1、获得待检测数据元组包括文本和图像，通过两个特征提取分支获得图像特征数据和文本特征数据；步骤2、利用隐式的跨模态注意力机制实现特征对齐处理；步骤3、实现多模态数据的语义和情感不一致性建模；步骤4、计算语义不一致性；步骤5、获得图像特征与文本特征情感极性的差值；步骤6、基于图像特征与文本特征情感极性的差值和不一致性值进行反讽检测，得到检测结果。与现有技术相比，本发明在利用多模态反讽检测数据集上表现出了优秀的预测性能，超过了所有现有的方法。本发明可以精确对给定图像是否属于讽刺情感类别进行检测。