-
公开(公告)号:CN117314958A
公开(公告)日:2023-12-29
申请号:CN202311150357.3
申请日:2023-09-07
Applicant: 南开大学
IPC: G06T7/246 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0464
Abstract: 本发明公开了一种基于遮挡推理的视频多平面跟踪方法,对视频中多个平面目标进行跟踪,针对遮挡区域分别根据平面的外观特征获取平面的位置,根据平面目标的历史轨迹预测当前时刻的平面目标位置和姿态,结合两种预测结果进行遮挡区域的建模,在遮挡区域的位置先验指导下,进一步利用双流注意力网络融合两者的预测结果,以得到最终跟踪结果。与现有技术相比,本发明实现了高精度的多个高自由度的平面目标跟踪。
-
公开(公告)号:CN116342934A
公开(公告)日:2023-06-27
申请号:CN202310214810.6
申请日:2023-03-08
Applicant: 南开大学
IPC: G06V10/764 , G06V10/82 , G06V10/77 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于预训练优化的图像情感分析方法包括以下步骤:步骤1,首先定义影响图像情感分析的低层、中层、高层三个层级的特征等级,每层特征等级包含与情感相关的图像属性;步骤2,根据步骤1中所定义的影响图像情感分析的三层特征等级和每层的图像属性来确定对应的情感训练任务,进而分别得到低层、中层、高层三个特征等级的预训练骨干网络模型;步骤3,将步骤2得到的三个特征等级的预训练骨干网络模型中的情感相关的先验知识聚合到同一个下游目标骨干网络模型。本发明解决了以往深度神经网络应用于图像情感分析中时,没有提供情感相关的预训练参数的问题,可以充分捕获各个语义层级上的情感相关的特征。
-
公开(公告)号:CN116228646A
公开(公告)日:2023-06-06
申请号:CN202211627823.8
申请日:2022-12-17
Applicant: 南开大学
IPC: G06T7/00 , G06N3/084 , G06N3/048 , G06N3/0464
Abstract: 本发明公开了一种基于卷积神经网络的图像复杂度评估方法,包括以下步骤,使用双分支卷积神经网络分别提取图像的细节特征和语义信息,并在预测阶段将这两种特征进行融合;提出一种空间分布注意力模块,针对图像复杂度进行专门设计,使得提取特征可以根据特征的空间分布自适应地优化;在预测阶段,将所述特征分别输入到两个预测头分支中,其中全局复杂度分数预测头通过全连接神经网络预测输入图像的全局复杂度,局部复杂度热度图预测头通过卷积神经网络预测输入图像的局部复杂度热度图;本发明在复杂度评估数据集上表现出了优秀的复杂度预测性能,超过现有方法。对于给定图像,本发明可以精确给出全局复杂度得分与像素级别的复杂度热度图。
-
公开(公告)号:CN110135461B
公开(公告)日:2023-05-05
申请号:CN201910311067.X
申请日:2019-04-18
Applicant: 南开大学
IPC: G06F16/583 , G06V10/80 , G06V10/77 , G06V10/82 , G06V10/764 , G06N3/0464 , G06N3/047 , G06N3/09
Abstract: 本发明公开了基于分层注意感知深度度量学习的情感图像检索的方法,属于计算机视觉技术领域。该方法利用不同层次的情感标签分别在卷积神经网络的高层和低层监督学习,通过注意力机制对特征进行加权。之后利用双线性池化操作将来自高层和低层加权后的特征进行交互融合,得到了同时蕴含不同层次信息的特征。通过网络低层和高层加权后的特征向量利用双线性池化进行有效地融合,然后进行降维、正则化等操作。同时,提出了EP损失函数,分别从极性内和极性间度量样本间的空间距离。通过同时优化EP损失函数、注意力损失函数和Softmax函数进行端到端地训练卷积神经网络。最后根据卷积神经网络提取的特征之间的欧式距离来检索情感图片。
-
公开(公告)号:CN110110780B
公开(公告)日:2023-04-07
申请号:CN201910358002.0
申请日:2019-04-30
Applicant: 南开大学
IPC: G06V10/774 , G06V10/764 , G06V10/82
Abstract: 一种基于对抗神经网络和海量噪声数据的图片分类方法,解决使用深度学习进行图片分类任务时数据不足的问题。该方法将网络图像与标准数据集中的图像同时作为训练数据送入卷积神经网络中,并使用类别标签和来源标签分别表示图像内容上的类别及数据来源;分别计算标签预测损失和来源识别损失得到联合损失,通过最小化联合损失,使网络数据和标准数据的表现趋向于一致。该方法可用于计算机视觉的各种细分类任务中,大量网络数据作为训练数据可以有效地提升卷积神经网络的分类性能。本方法在训练过程中采用对抗策略使得模型对于数据的来源变得不敏感、网络数据与标准数据能够很好地混合在一起。
-
公开(公告)号:CN108388903B
公开(公告)日:2021-12-21
申请号:CN201810171247.8
申请日:2018-03-01
Applicant: 南开大学
Abstract: 本发明公开了一种基于多视角多特征的图像印象性预测方法,属于图像处理技术领域。图像印象性是一种特殊的图像属性。对印象性的预测是为了能够在短时间内判断出更符合人类预期的图片作品进行推荐,降低筛选过程的时间消耗。该方法的设计参考了经典的图像属性分析结构,基于心理学理论基础和视觉图像分析,总结出六点主要线索,结合多层次的视觉特征对各个主要线索进行建模,最终达到预测印象性的目的。使用该方法对图像印象性进行检测,可以更好地模拟人类感知,用来进行更多高级的视觉任务。
-
公开(公告)号:CN110135462A
公开(公告)日:2019-08-16
申请号:CN201910311265.6
申请日:2019-04-18
Applicant: 南开大学
Abstract: 本发明公开了一种基于上下文信息的艺术画风格分类方法,属于计算机视觉技术领域。该方法的目的是从艺术史中找到影响艺术画风格发展的信息,利用这些信息生成标签分布并用于训练卷积神经网络,即将艺术画的上下文信息以标签分布的形式作为卷积神经网络的输入来辅助图像训练,从而解决艺术画风格分类的问题。在艺术画分类任务中,大多数方法都仅仅利用图像特征进行分类,而忽视了艺术画在定义风格时往往会考虑它创作时所处上下文背景的现象。针对这一问题,通过本发明的标签分布生成方法将艺术画的上下文信息转化为标签分布,并将其作为卷积神经网络的输入标签,而后同时优化分类损失函数和标签分布损失函数,最终应用于艺术画风格分类的任务中。
-
公开(公告)号:CN110110780A
公开(公告)日:2019-08-09
申请号:CN201910358002.0
申请日:2019-04-30
Applicant: 南开大学
IPC: G06K9/62
Abstract: 一种基于对抗神经网络和海量噪声数据的图片分类方法,解决使用深度学习进行图片分类任务时数据不足的问题。该方法将网络图像与标准数据集中的图像同时作为训练数据送入卷积神经网络中,并使用类别标签和来源标签分别表示图像内容上的类别及数据来源;分别计算标签预测损失和来源识别损失得到联合损失,通过最小化联合损失,使网络数据和标准数据的表现趋向于一致。该方法可用于计算机视觉的各种细分类任务中,大量网络数据作为训练数据可以有效地提升卷积神经网络的分类性能。本方法在训练过程中采用对抗策略使得模型对于数据的来源变得不敏感、网络数据与标准数据能够很好地混合在一起。
-
公开(公告)号:CN108416382A
公开(公告)日:2018-08-17
申请号:CN201810171017.1
申请日:2018-03-01
Applicant: 南开大学
Abstract: 本发明公开了一种基于迭代采样和一对多标签修正的Web图像训练卷积神经网络方法。该方法的目的是通过在训练集中逐步地加入Web图像来解决使用深度学进行计算机视觉任务时数据不足的问题。这种新的方法可以作为计算机视觉各种任务的辅助处理步骤,其关键在于随着模型的训练,更新的模型将能更准确地对Web图像的标签置信度进行预测,然后通过对比把高质量的数据加入到训练数据中继续提升模型的性能,最终可以有效地减少Web数据中的噪声数据并提升卷积神经网络的性能。同时考虑到Web图像内容的复杂性和多样性,本方法在迭代过程采用了一对多的标签修正策略来减少硬标注对模型训练带来的影响。基于以上的步骤,整个模型迭代训练直到网络的性能趋于稳定。
-
公开(公告)号:CN108388903A
公开(公告)日:2018-08-10
申请号:CN201810171247.8
申请日:2018-03-01
Applicant: 南开大学
Abstract: 本发明公开了一种基于多视角多特征的图像印象性预测方法,属于图像处理技术领域。图像印象性是一种特殊的图像属性。对印象性的预测是为了能够在短时间内判断出更符合人类预期的图片作品进行推荐,降低筛选过程的时间消耗。该方法的设计参考了经典的图像属性分析结构,基于心理学理论基础和视觉图像分析,总结出六点主要线索,结合多层次的视觉特征对各个主要线索进行建模,最终达到预测印象性的目的。使用该方法对图像印象性进行检测,可以更好地模拟人类感知,用来进行更多高级的视觉任务。
-
-
-
-
-
-
-
-
-