一种基于双提示引导Transformer的图像恢复方法

    公开(公告)号:CN118396858A

    公开(公告)日:2024-07-26

    申请号:CN202410288845.9

    申请日:2024-03-14

    Applicant: 南开大学

    Abstract: 本发明涉及图像处理技术领域,尤其涉及一种基于双提示引导Transformer的图像恢复方法,通过卷积层提取图像的第一浅层特征和第二浅层特征;通过增强型动态解耦器模块对第一浅层特征解耦获得低频特征和高频特征;通过高频提示调制器处理高频特征获得高频提示特征;通过低频提示调制器处理低频特征获得低频提示特征;通过解码器和编码器网络将第二浅层特征改进为深层特征,根据深层特征修改低频提示特征和高频提示特征获得低频输出特征和高频输出特征;将低频输出特征和高频输出特征输入图像重建模块,生成重建后的图像。利用多尺度分辨率下不同频率范围内的特征来提示模型恢复更清晰的图像,提高了图像恢复的精度,恢复效果更好。

    一种基于保留单模态信息的半监督图文情感分析方法

    公开(公告)号:CN118097240A

    公开(公告)日:2024-05-28

    申请号:CN202410158430.X

    申请日:2024-02-04

    Applicant: 南开大学

    Abstract: 本发明提供一种基于保留单模态信息的半监督图文情感分析方法,属情感分析领域。包括:采集待检测数据元组,进行多模态数据特征提取,获得初始特征;对初始特征进行解耦,获得共有特征和私有特征,并对应训练获得多模态分类器和单模态分类器;通过多模态分类器及公共标签筛选私有特征,获得单模态标签;将单模态分类器与多模态分类器的输出特征拼接,用于控制样本情绪的主导模态选择,获得主导模态特征并进行多模态间的交叉注意力融合,获得融合多模态特征;通过双层置信度进行过滤获得样本终伪标签;半监督训练样本终伪标签并进行图文情感分析。本发明综合考虑了半监督学习的模态异质性和模态之间的关系,提升了图文对的情感识别准确度。

    一种基于跨模态情感交互的对话图像检索方法

    公开(公告)号:CN118093914A

    公开(公告)日:2024-05-28

    申请号:CN202410158251.6

    申请日:2024-02-04

    Applicant: 南开大学

    Abstract: 本发明涉及情感分析技术领域,提供一种基于跨模态情感交互的对话图像检索方法。包括:引入情感识别数据集并对其中的表情包进行聚类,获得多个情感类别;对同一情感类别中不同图像表征进行对比学习,对不同情感类别的图像表征进行对比学习,获得局部特征增强后的表情包的图像样本;将对话样本及图像样本进行编码,对编码后的数据进行初始特征提取并进行图文特征的对齐,获得多模态特征;由多模态特征计算获得每个图像样本与每条对话样本间的匹配分数,组建匹配的正样本对及不匹配的负样本对;进行优化训练获得检索模型,进行表情包检索。本发明同时使用对话和表情包的情感信息,提高了对话与表情检索方法的性能及准确度。

    一种基于边缘信息的图像平面区域检测方法

    公开(公告)号:CN116258943A

    公开(公告)日:2023-06-13

    申请号:CN202310279248.5

    申请日:2023-03-21

    Applicant: 南开大学

    Inventor: 杨巨峰 张知诚

    Abstract: 本发明公开了一种基于边缘信息的图像平面区域检测方法,首先采用神经网络对图像提取各层级的基础骨架网络特征,然后将得到的各层级特征通过上采样与层间链接的方式提取多层级的上下文特征,以及将得到的中间层级的特征通过迭代优化网络层来提取图像的多层级边缘特征,并优化不同层级特征至预期的特征维度;再将多层级上下文特征以及多层级边缘特征进行逐层级地成对融合,最后将融合后的特征提供给要训练的下游图像平面检测任务目标模型,以提升目标模型在下游图像平面检测任务的表现。

    一种基于正交元空间的多模态图像增强方法

    公开(公告)号:CN110415184B

    公开(公告)日:2022-12-20

    申请号:CN201910571058.4

    申请日:2019-06-28

    Applicant: 南开大学

    Abstract: 一种基于正交元空间的多模态图像增强方法,属于计算机视觉领域。包括以下特点:1、使用编码‑解码器及互信息最优化策略提取高美学质量图像的样式和内容编码;2、将参考图像的样式编码映射到由一组正交基张成的样式元空间中;3、利用自适应的实例标准化模块以及互信息优化的特征解耦方法提高参考图像的样式和内容编码解耦,构建基于编码‑解码的生成对抗网络进行模型训练;4、在测试阶段,将任意一张普通图像输入训练好的模型,由内容编码器提取内容编码,同时在样式元空间中随机采样多个样式编码,将内容编码与样式编码融合后,送入生成器得到多模态增强图像。通过本发明可以得到在亮度、对比度、颜色等美学特性方面样式多样的增强图像。

    一种基于迭代采样和一对多标签修正的Web图像训练卷积神经网络方法

    公开(公告)号:CN108416382B

    公开(公告)日:2022-04-19

    申请号:CN201810171017.1

    申请日:2018-03-01

    Applicant: 南开大学

    Abstract: 本发明公开了一种基于迭代采样和一对多标签修正的Web图像训练卷积神经网络方法。该方法的目的是通过在训练集中逐步地加入Web图像来解决使用深度学进行计算机视觉任务时数据不足的问题。这种新的方法可以作为计算机视觉各种任务的辅助处理步骤,其关键在于随着模型的训练,更新的模型将能更准确地对Web图像的标签置信度进行预测,然后通过对比把高质量的数据加入到训练数据中继续提升模型的性能,最终可以有效地减少Web数据中的噪声数据并提升卷积神经网络的性能。同时考虑到Web图像内容的复杂性和多样性,本方法在迭代过程采用了一对多的标签修正策略来减少硬标注对模型训练带来的影响。基于以上的步骤,整个模型迭代训练直到网络的性能趋于稳定。

    一种基于注意力机制和多层次卷积特征的植物病虫害识别方法

    公开(公告)号:CN110188635B

    公开(公告)日:2021-04-30

    申请号:CN201910404278.8

    申请日:2019-05-16

    Applicant: 南开大学

    Abstract: 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法。该方法的目的是结合注意力机制和多层次卷积特征进行自然场景下的植物病虫害图像分类,其关键是解决了自然场景图像中大面积的复杂背景对植物病虫害识别的干扰问题,并充分地利用了网络模型中所有的卷积层特征。该方法设计了一种包含注意力机制的深度卷积神经网络,利用注意力机制生成图像中覆盖了目标空间位置的局部位置区域掩码,用于减弱自然场景图像下的复杂背景干扰信息,并结合多层次卷积特征,充分利用语义信息和细节信息,对植物病虫害进行更具有区分性的特征表示。最终将得到的模型用于自然场景下的植物病虫害图像分类,得到的局部区域掩码用于获取植物病虫害的位置信息。

    一种基于多序列MRI的多发性骨髓瘤病灶的分割系统

    公开(公告)号:CN110458859A

    公开(公告)日:2019-11-15

    申请号:CN201910582883.4

    申请日:2019-07-01

    Applicant: 南开大学

    Abstract: 一种基于多序列MRI的多发性骨髓瘤病灶分割系统。包括:输入模块,预处理模块,ROI选择模块,多序列MRI的特征描述模块,阈值计算模块,疑似病灶分割模块和输出模块。该系统基于专家预先标定的先验知识数据库确定RoI区域的坐标限定值集合、病灶区域的长宽比阈值、面积阈值、灰度值差异阈值,并依据其统计特性得到阳性病灶的特征阈值来分割疑似病灶区域,可准确有效的实现多序列MRI中具有多区域特性的多发性骨髓瘤病灶分割。本发明不仅融合了影像图像自有的特征,且依据人类高级先验知识使得确立的ROI更具灵活性,可显著提高多序列MRI中多发性骨髓瘤病灶分割的准确性,降低现有基于聚类分割系统中因初始随机化引起的分割结果不可靠的风险。

Patent Agency Ranking