-
公开(公告)号:CN110135462B
公开(公告)日:2022-12-20
申请号:CN201910311265.6
申请日:2019-04-18
Applicant: 南开大学
IPC: G06V10/764 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于上下文信息的艺术画风格分类方法,属于计算机视觉技术领域。该方法的目的是从艺术史中找到影响艺术画风格发展的信息,利用这些信息生成标签分布并用于训练卷积神经网络,即将艺术画的上下文信息以标签分布的形式作为卷积神经网络的输入来辅助图像训练,从而解决艺术画风格分类的问题。在艺术画分类任务中,大多数方法都仅仅利用图像特征进行分类,而忽视了艺术画在定义风格时往往会考虑它创作时所处上下文背景的现象。针对这一问题,通过本发明的标签分布生成方法将艺术画的上下文信息转化为标签分布,并将其作为卷积神经网络的输入标签,而后同时优化分类损失函数和标签分布损失函数,最终应用于艺术画风格分类的任务中。
-
公开(公告)号:CN110135461A
公开(公告)日:2019-08-16
申请号:CN201910311067.X
申请日:2019-04-18
Applicant: 南开大学
IPC: G06K9/62 , G06N3/04 , G06N3/08 , G06F16/583
Abstract: 本发明公开了基于分层注意感知深度度量学习的情感图像检索的方法,属于计算机视觉技术领域。该方法利用不同层次的情感标签分别在卷积神经网络的高层和低层监督学习,通过注意力机制对特征进行加权。之后利用双线性池化操作将来自高层和低层加权后的特征进行交互融合,得到了同时蕴含不同层次信息的特征。通过网络低层和高层加权后的特征向量利用双线性池化进行有效地融合,然后进行降维、正则化等操作。同时,提出了EP损失函数,分别从极性内和极性间度量样本间的空间距离。通过同时优化EP损失函数、注意力损失函数和Softmax函数进行端到端地训练卷积神经网络。最后根据卷积神经网络提取的特征之间的欧式距离来检索情感图片。
-
公开(公告)号:CN108427740A
公开(公告)日:2018-08-21
申请号:CN201810173303.1
申请日:2018-03-02
Applicant: 南开大学
Abstract: 本发明公开了一种基于深度度量学习的图像情感分类与检索方法,属于图像处理技术领域。该方法的目的是结合情感标签间的相互关系进行图像情感的分类及检索。该方法设计了一种多任务的卷积神经网络架构,用于同时优化分类及检索两个任务。这种卷积神经网络架构利用基于多层卷积层的情感向量来作为图像的纹理信息表达,用于区别不同图像中的情感,并提出新型的情感约束考虑不同情感间的关系。最终将得到的模型用于图像情感分类,得到的情感向量作为嵌入特征用于图像情感检索。
-
公开(公告)号:CN110135461B
公开(公告)日:2023-05-05
申请号:CN201910311067.X
申请日:2019-04-18
Applicant: 南开大学
IPC: G06F16/583 , G06V10/80 , G06V10/77 , G06V10/82 , G06V10/764 , G06N3/0464 , G06N3/047 , G06N3/09
Abstract: 本发明公开了基于分层注意感知深度度量学习的情感图像检索的方法,属于计算机视觉技术领域。该方法利用不同层次的情感标签分别在卷积神经网络的高层和低层监督学习,通过注意力机制对特征进行加权。之后利用双线性池化操作将来自高层和低层加权后的特征进行交互融合,得到了同时蕴含不同层次信息的特征。通过网络低层和高层加权后的特征向量利用双线性池化进行有效地融合,然后进行降维、正则化等操作。同时,提出了EP损失函数,分别从极性内和极性间度量样本间的空间距离。通过同时优化EP损失函数、注意力损失函数和Softmax函数进行端到端地训练卷积神经网络。最后根据卷积神经网络提取的特征之间的欧式距离来检索情感图片。
-
公开(公告)号:CN110135462A
公开(公告)日:2019-08-16
申请号:CN201910311265.6
申请日:2019-04-18
Applicant: 南开大学
Abstract: 本发明公开了一种基于上下文信息的艺术画风格分类方法,属于计算机视觉技术领域。该方法的目的是从艺术史中找到影响艺术画风格发展的信息,利用这些信息生成标签分布并用于训练卷积神经网络,即将艺术画的上下文信息以标签分布的形式作为卷积神经网络的输入来辅助图像训练,从而解决艺术画风格分类的问题。在艺术画分类任务中,大多数方法都仅仅利用图像特征进行分类,而忽视了艺术画在定义风格时往往会考虑它创作时所处上下文背景的现象。针对这一问题,通过本发明的标签分布生成方法将艺术画的上下文信息转化为标签分布,并将其作为卷积神经网络的输入标签,而后同时优化分类损失函数和标签分布损失函数,最终应用于艺术画风格分类的任务中。
-
公开(公告)号:CN110188791B
公开(公告)日:2023-07-07
申请号:CN201910311129.7
申请日:2019-04-18
Applicant: 南开大学
IPC: G06V10/82 , G06V10/764 , G06V10/772 , G06N3/0464 , G06N3/047 , G06N3/048 , G06N3/0985
Abstract: 本发明公开了基于自动估计的视觉情感标签分布预测方法,属于计算机视觉技术领域。该方法通过标签分布学习解决了视觉情感中存在的模糊性的问题,同时,该方法提出了一个可以同时进行情感标签分类和标签分布预测的深度框架。除此之外,由于大部分视觉情感数据集只提供了单个类别标签,为了提高该框架的实用性,本发明利用一种弱先验知识即标签之间的相似性信息,根据情感类别生成对应的情感标签分布。在框架学习的过程中,对于分类任务,用Softmax函数进行约束,对于分布任务,用Kullback‑Leibler(KL)损失进行约束。将两个损失赋权值相加得到最后的损失函数,实现框架端到端的标签分布预测。
-
公开(公告)号:CN108427740B
公开(公告)日:2022-02-18
申请号:CN201810173303.1
申请日:2018-03-02
Applicant: 南开大学
IPC: G06F16/583 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于深度度量学习的图像情感分类与检索方法,属于图像处理技术领域。该方法的目的是结合情感标签间的相互关系进行图像情感的分类及检索。该方法设计了一种多任务的卷积神经网络架构,用于同时优化分类及检索两个任务。这种卷积神经网络架构利用基于多层卷积层的情感向量来作为图像的纹理信息表达,用于区别不同图像中的情感,并提出新型的情感约束考虑不同情感间的关系。最终将得到的模型用于图像情感分类,得到的情感向量作为嵌入特征用于图像情感检索。
-
公开(公告)号:CN110188791A
公开(公告)日:2019-08-30
申请号:CN201910311129.7
申请日:2019-04-18
Applicant: 南开大学
IPC: G06K9/62
Abstract: 本发明公开了基于自动估计的视觉情感标签分布预测方法,属于计算机视觉技术领域。该方法通过标签分布学习解决了视觉情感中存在的模糊性的问题,同时,该方法提出了一个可以同时进行情感标签分类和标签分布预测的深度框架。除此之外,由于大部分视觉情感数据集只提供了单个类别标签,为了提高该框架的实用性,本发明利用一种弱先验知识即标签之间的相似性信息,根据情感类别生成对应的情感标签分布。在框架学习的过程中,对于分类任务,用Softmax函数进行约束,对于分布任务,用Kullback-Leibler(KL)损失进行约束。将两个损失赋权值相加得到最后的损失函数,实现框架端到端的标签分布预测。
-
公开(公告)号:CN110119688A
公开(公告)日:2019-08-13
申请号:CN201910311521.1
申请日:2019-04-18
Applicant: 南开大学
Abstract: 本发明公开了一种利用视觉注意力协同网络的图像情感分类方法,属于计算机视觉技术领域。该方法的目的是利用弱监督学习检测出图片中引发情感的局部区域,提取出情感区域对应的局部深度特征,然后并将其与全局深度特征合并,形成最终的特征向量,用于情感图片的分类。其中的视觉注意力协同卷积神经网络主要包含共享的浅层卷积层,及同时进行两种任务的两个分支,分别用于生成情感区域分布图及生成语义信息更丰富的向量,然后送进分类器进行识别。该技术将图像情感区域检测和图像情感分类任务结合到一个统一的深度网络中,实现了端到端的训练,并且只需要图片级别的情感标注信息,而非像素级别的矩形框标注,因而减轻了大量标注的负担。
-
-
-
-
-
-
-
-