-
公开(公告)号：CN110119688A
公开(公告)日：2019-08-13
申请号：CN201910311521.1
申请日：2019-04-18
Applicant: 南开大学
Abstract: 本发明公开了一种利用视觉注意力协同网络的图像情感分类方法，属于计算机视觉技术领域。该方法的目的是利用弱监督学习检测出图片中引发情感的局部区域，提取出情感区域对应的局部深度特征，然后并将其与全局深度特征合并，形成最终的特征向量，用于情感图片的分类。其中的视觉注意力协同卷积神经网络主要包含共享的浅层卷积层，及同时进行两种任务的两个分支，分别用于生成情感区域分布图及生成语义信息更丰富的向量，然后送进分类器进行识别。该技术将图像情感区域检测和图像情感分类任务结合到一个统一的深度网络中，实现了端到端的训练，并且只需要图片级别的情感标注信息，而非像素级别的矩形框标注，因而减轻了大量标注的负担。
-
公开(公告)号：CN118333897A
公开(公告)日：2024-07-12
申请号：CN202410317936.0
申请日：2024-03-20
Applicant: 南开大学
IPC: G06T5/73 , G06T5/60 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及图像处理技术领域，提供一种基于方向感知Transformer的图像去模糊方法，将原图像输入到编码器解码器神经网络中的极坐标嵌入模块；通过极坐标嵌入模块提取原图像的浅层特征；通过编码器解码器神经网络中的极坐标注意力模块提取原图像在极坐标下的像素间的相对位置，通过对像素间的相对位置关系进行注意力计算，获得极坐标注意力模块特征；将极坐标注意力模块特征输入到图像重建模块中，生成重建后的高质量清晰图像。本发明通过极坐标嵌入模块对图像的浅层特性进行提取，在每个方向上对特征进行聚合，极坐标注意力模块在进行注意力计算时，可以更好的利用提取的浅层特征，在各方向对特征进行学习，实现更好的图像恢复。
-
公开(公告)号：CN118172588A
公开(公告)日：2024-06-11
申请号：CN202410132580.3
申请日：2024-01-31
Applicant: 南开大学
IPC: G06V10/764 , G06V20/62 , G06V10/82 , G06V10/74 , G06N3/0895
Abstract: 本发明涉及人工智能技术领域，提供一种基于情感提示生成的多任务图像情感分析方法，包括：获得统一特征表示，并对统一特征表示解耦，获得第一任务特征表示、第二任务特征表示和第三任务特征表示；获得第一任务特征表示对应的情感字幕；将情感图像未包含情感对应的情感字幕转换为情感提示，最小化情感提示与第二任务特征表示之间的第一余弦相似度，最小化情感提示与第三任务特征表示之间的第二余弦相似度；聚合第三任务特征表示中的区域特征表示，生成背景表示，最小化背景表示与第二任务特征表示间的第三余弦相似度，获得模型；将情感图像输入模型，获得情感分析结果。本方法提高了图像情感分析模型理解图像情感的准确性。
-
公开(公告)号：CN117037017A
公开(公告)日：2023-11-10
申请号：CN202310597187.7
申请日：2023-05-23
Applicant: 南开大学
Abstract: 本发明公开了一种基于关键帧擦除的视频情感检测方法，分别对包括视觉数据编码和音频数据编码的多模态数据进行初始特征提取；在视觉和音频两个模态内的时域贡献得分，提取鲁棒的单模态特征；计算视觉和音频特征之间的相关性，得到跨模态的时域贡献得分和基于注意力加权的音频特征，与单模态视觉特征融合形成增强后的视觉特征；以及得到增强后音频特征；利用融合的增强后跨模态视觉特征F”v与音频特征F”a完成视频情感的检测；筛选出给定视频的情感关键帧；得到最终的视频情感检测模型以进行检测。与现有技术相比，本发明通过对视频关键帧与非关键帧的显示建模并联合优化，提高了视频情感检测的效果。
-
公开(公告)号：CN116611024A
公开(公告)日：2023-08-18
申请号：CN202310555752.3
申请日：2023-05-16
Applicant: 南开大学
IPC: G06F18/25 , G06F18/2415 , G06F18/241 , G06F18/28 , G06N3/045 , G06N3/0464 , G06N3/048 , G06N3/047 , G06N3/0895
Abstract: 本发明公开了一种基于事实和情感对立性的多模态反讽检测方法，步骤1、获得待检测数据元组包括文本和图像，通过两个特征提取分支获得图像特征数据和文本特征数据；步骤2、利用隐式的跨模态注意力机制实现特征对齐处理；步骤3、实现多模态数据的语义和情感不一致性建模；步骤4、计算语义不一致性；步骤5、获得图像特征与文本特征情感极性的差值；步骤6、基于图像特征与文本特征情感极性的差值和不一致性值进行反讽检测，得到检测结果。与现有技术相比，本发明在利用多模态反讽检测数据集上表现出了优秀的预测性能，超过了所有现有的方法。本发明可以精确对给定图像是否属于讽刺情感类别进行检测。
-
Patent Agency Ranking
公开(公告)号：CN110458859B
公开(公告)日：2023-05-05
申请号：CN201910582883.4
申请日：2019-07-01
Applicant: 南开大学
IPC: G06T7/136
Abstract: 一种基于多序列MRI的多发性骨髓瘤病灶分割系统。包括：输入模块，预处理模块，ROI选择模块，多序列MRI的特征描述模块，阈值计算模块，疑似病灶分割模块和输出模块。该系统基于专家预先标定的先验知识数据库确定RoI区域的坐标限定值集合、病灶区域的长宽比阈值、面积阈值、灰度值差异阈值，并依据其统计特性得到阳性病灶的特征阈值来分割疑似病灶区域，可准确有效的实现多序列MRI中具有多区域特性的多发性骨髓瘤病灶分割。本发明不仅融合了影像图像自有的特征，且依据人类高级先验知识使得确立的ROI更具灵活性，可显著提高多序列MRI中多发性骨髓瘤病灶分割的准确性，降低现有基于聚类分割系统中因初始随机化引起的分割结果不可靠的风险。
-
公开(公告)号：CN110889416B
公开(公告)日：2023-04-18
申请号：CN201911278227.1
申请日：2019-12-13
Applicant: 南开大学
Abstract: 本发明公开了一种基于级联改良网络的RGB‑D显著性物体检测方法，属于图像处理技术领域。大多数现有的RGB‑D模型直接聚合来自不同层级的CNN网络的特征，容易引入低层特征所含有的噪声和干扰信息。本发明创造性地提出一种级联改良式的结构，用高层部分的特征生成的显著性图作为掩膜来改良低层部分的特征，然后再通过聚合改良后的低层特征生成最终的显著性图；此外，为了排除深度图的干扰信息，本发明提出一个深度增强模块用于进行深度特征和RGB特征混合前的预处理。本发明用4个评价指标在7个数据集上进行实验，结果表明本发明超越当前所有最先进的RGB‑D显著性物体检测方法。
-
公开(公告)号：CN110648311B
公开(公告)日：2023-04-18
申请号：CN201910825578.3
申请日：2019-09-03
Applicant: 南开大学
IPC: G06T7/00 , G06T7/194 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多任务学习的痤疮图像病灶分割与计数网络模型，属于计算机视觉技术领域。设计了一种多任务学习深度卷积神经网络架构，用于痤疮图像中病灶的分割和数量统计。这种深度卷积神经网络框架以多任务学习的方式共享相关任务之间的表征，利用隐含在多个相关任务的训练信号中的特定领域信息来提高泛化能力，提升模型的分割与计数性能。同时本方法在网络框架中的分割分支利用得到的病灶候选框生成病灶的位置掩码，用于屏蔽具有干扰性的背景区域，从而帮助计数分支得到更精确的计数结果。最终使用计数结果对病灶候选框进行进一步筛选，生成病灶的分割结果，得到的网络模型用于痤疮图像的病灶分割和计数。
-
公开(公告)号：CN110648311A
公开(公告)日：2020-01-03
申请号：CN201910825578.3
申请日：2019-09-03
Applicant: 南开大学
Abstract: 本发明公开了一种基于多任务学习的痤疮图像病灶分割与计数网络模型，属于计算机视觉技术领域。设计了一种多任务学习深度卷积神经网络架构，用于痤疮图像中病灶的分割和数量统计。这种深度卷积神经网络框架以多任务学习的方式共享相关任务之间的表征，利用隐含在多个相关任务的训练信号中的特定领域信息来提高泛化能力，提升模型的分割与计数性能。同时本方法在网络框架中的分割分支利用得到的病灶候选框生成病灶的位置掩码，用于屏蔽具有干扰性的背景区域，从而帮助计数分支得到更精确的计数结果。最终使用计数结果对病灶候选框进行进一步筛选，生成病灶的分割结果，得到的网络模型用于痤疮图像的病灶分割和计数。
-
公开(公告)号：CN110188635A
公开(公告)日：2019-08-30
申请号：CN201910404278.8
申请日：2019-05-16
Applicant: 南开大学
Abstract: 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法。该方法的目的是结合注意力机制和多层次卷积特征进行自然场景下的植物病虫害图像分类，其关键是解决了自然场景图像中大面积的复杂背景对植物病虫害识别的干扰问题，并充分地利用了网络模型中所有的卷积层特征。该方法设计了一种包含注意力机制的深度卷积神经网络，利用注意力机制生成图像中覆盖了目标空间位置的局部位置区域掩码，用于减弱自然场景图像下的复杂背景干扰信息，并结合多层次卷积特征，充分利用语义信息和细节信息，对植物病虫害进行更具有区分性的特征表示。最终将得到的模型用于自然场景下的植物病虫害图像分类，得到的局部区域掩码用于获取植物病虫害的位置信息。
-
-
-
-
-
-
-
-
-
Search Results
55
records
(took 0.03 seconds)
