公开(公告)号：CN118333883A

公开(公告)日：2024-07-12

申请号：CN202410318337.0

申请日：2024-03-20

Applicant: 南开大学

Inventor： 杨巨峰 ,  瞿立燊 ,  周世豪 ,  陈铎晟

IPC: G06T5/60 ,  G06T5/70 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明涉及图像处理技术领域，提供一种基于照度定律和动态掩码的夜间耀斑去除方法，包括：使用预训练的深度估计模型，基于照度定律对背景图像及耀斑图像进行处理，获得深度学习模型的基准图像；通过动态掩码模块对深度学习模型的基准图像进行处理，获得深度学习模型的输入图像；将深度学习模型的输入图像输入神经网络模型，将神经网络模型的输出结果与深度学习模型的基准图像进行拼接，最后经过一个卷积层，获得去除耀斑的图像。本发明通过照度定律以及深度估计的手段，约束多耀斑之间的强弱关系，能够合成出更加符合真实世界物理规律的耀斑数据集；本发明通过动态掩码模块，使模型更专注于耀斑区域的处理，取得了优秀的图像修复效果。

公开(公告)号：CN118134769A

公开(公告)日：2024-06-04

申请号：CN202410200808.8

申请日：2024-02-23

Applicant: 南开大学

Inventor： 杨巨峰 ,  周世豪 ,  陈铎晟

IPC: G06T5/00 ,  G06T5/60 ,  G06N3/0455

Abstract: 本发明涉及涉及图像恢复技术领域，尤其涉及一种基于高频信息注入Transformer的图像恢复方法，该方法包括如下步骤：S1、提取给定退化图像，通过卷积操作提取浅层特征；S2、将浅层特征输入至窗口注入模块，同时将浅层特征编码至网络中，获取优化图像特征；窗口注入模块通过双向交互操作提取解码器深层中浅层特征的关键局部细节信息；S3、优化图像特征经过多级编、解码器网络进行修正，得到窗口级特征图像；S4、窗口级图像特征通过卷积操作生成残差图像；S5、生成恢复图像，恢复图像通过如下计算式表示#imgabs0#。利用窗口注入模块和双向交互模块，来对图像局部细节信息进行增强，以缓解Transformer在恢复图像时对局部信息的稀释，从而实现高质量的图像恢复。

公开(公告)号：CN117830163A

公开(公告)日：2024-04-05

申请号：CN202410150829.3

申请日：2024-02-02

Applicant: 南开大学

Inventor： 杨巨峰 ,  周世豪 ,  陈铎晟

IPC: G06T5/77 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/092 ,  G06V10/80 ,  G06T5/60

Abstract: 本发明涉及图像处理技术领域，尤其涉及一种基于自适应稀疏Transformer的特征细化图像修复方法，该方法包括如下步骤：S1，通过对退化图像进行卷积化操作生成低级特征；S1，通过对退化图像进行卷积化操作生成低级特征；S2，图像特征一和图像特征二进行特征融合获取图像特征三，图像特征三嵌入到深层特征生成残差图像；特征细化前馈处理对图像特征一和图像特征二进行特征学习，并对学习到的图像特征进行信息增强；在对低级特征进行解码过程中包括去噪声处理；S3，将残差图像输入到图像重建单元中，生成重建后的恢复图像。使用本发明提供的修复方法修复退化图像，能够消除多余信息的干扰，最终生成清晰的恢复图像。

公开(公告)号：CN117372835A

公开(公告)日：2024-01-09

申请号：CN202311215472.4

申请日：2023-09-19

Applicant: 南开大学

Inventor： 杨巨峰 ,  文长崧 ,  张鑫 ,  姚星旭

IPC: G06V10/82 ,  G06V10/774 ,  G06V40/16

Abstract: 本发明公开了一种基于顺序标签分布学习的图像美学分析方法，对输入的批量美学图像进行预处理和初始图像特征提取；提取VGG网络softmax层的输出作为图像特征的预测结果；对于输出的图像预测结果与真实标注的顺序标签进行损失函数的计算；并将得到的损失函数值进行梯度回传，得到顺序标签分布学习的VGG网络；将待分析美学图像进行随机裁剪的图像增强处理后将增强后的美学图像送入VGG网络，经过前向传播后得到预测的美学分析顺序标签分布；针对数据集中所有数据利用顺序标签学习的VGG网络进行训练。与现有技术相比，本发明在各个指标上全面的提高了已有范式的性能。

公开(公告)号：CN110135462B

公开(公告)日：2022-12-20

申请号：CN201910311265.6

申请日：2019-04-18

Applicant: 南开大学

Inventor： 杨巨峰 ,  程明明 ,  陈丽怡 ,  折栋宇 ,  孙晓晓

IPC: G06V10/764 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于上下文信息的艺术画风格分类方法，属于计算机视觉技术领域。该方法的目的是从艺术史中找到影响艺术画风格发展的信息，利用这些信息生成标签分布并用于训练卷积神经网络，即将艺术画的上下文信息以标签分布的形式作为卷积神经网络的输入来辅助图像训练，从而解决艺术画风格分类的问题。在艺术画分类任务中，大多数方法都仅仅利用图像特征进行分类，而忽视了艺术画在定义风格时往往会考虑它创作时所处上下文背景的现象。针对这一问题，通过本发明的标签分布生成方法将艺术画的上下文信息转化为标签分布，并将其作为卷积神经网络的输入标签，而后同时优化分类损失函数和标签分布损失函数，最终应用于艺术画风格分类的任务中。

公开(公告)号：CN110889416A

公开(公告)日：2020-03-17

申请号：CN201911278227.1

申请日：2019-12-13

Applicant: 南开大学

Inventor： 杨巨峰 ,  翟英杰 ,  范登平

IPC: G06K9/40 ,  G06K9/46

Abstract: 本发明公开了一种基于级联改良网络的RGB-D显著性物体检测方法，属于图像处理技术领域。大多数现有的RGB-D模型直接聚合来自不同层级的CNN网络的特征，容易引入低层特征所含有的噪声和干扰信息。本发明创造性地提出一种级联改良式的结构，用高层部分的特征生成的显著性图作为掩膜来改良低层部分的特征，然后再通过聚合改良后的低层特征生成最终的显著性图；此外，为了排除深度图的干扰信息，本发明提出一个深度增强模块用于进行深度特征和RGB特征混合前的预处理。本发明用4个评价指标在7个数据集上进行实验，结果表明本发明超越当前所有最先进的RGB-D显著性物体检测方法。

公开(公告)号：CN110135461A

公开(公告)日：2019-08-16

申请号：CN201910311067.X

申请日：2019-04-18

Applicant: 南开大学

Inventor： 杨巨峰 ,  姚星旭 ,  折栋宇

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F16/583

Abstract: 本发明公开了基于分层注意感知深度度量学习的情感图像检索的方法，属于计算机视觉技术领域。该方法利用不同层次的情感标签分别在卷积神经网络的高层和低层监督学习，通过注意力机制对特征进行加权。之后利用双线性池化操作将来自高层和低层加权后的特征进行交互融合，得到了同时蕴含不同层次信息的特征。通过网络低层和高层加权后的特征向量利用双线性池化进行有效地融合，然后进行降维、正则化等操作。同时，提出了EP损失函数，分别从极性内和极性间度量样本间的空间距离。通过同时优化EP损失函数、注意力损失函数和Softmax函数进行端到端地训练卷积神经网络。最后根据卷积神经网络提取的特征之间的欧式距离来检索情感图片。

公开(公告)号：CN110110781A

公开(公告)日：2019-08-09

申请号：CN201910358106.1

申请日：2019-04-30

Applicant: 南开大学

Inventor： 杨巨峰 ,  梁杰

IPC: G06K9/62

Abstract: 本发明公开了一种基于优质邻接点的子空间聚类方法。该方法可以与现有的多数自表示优化方法相结合，对相应的邻接矩阵进行后处理，从而使该邻接矩阵同时满足稀疏性和子空间内连通性。该方法最终在优化后的邻接矩阵上运行谱聚类方法得到最终的类簇归属。另外，本发明引入的优质邻接点可以使系统在处理多个子空间临界处的样本时更加鲁棒，从而提升聚类性能。具体的，本发明首先使用原始样本数据计算一个初始的邻接矩阵；然后，本方法根据样本系数间的相关关系，为每个样本找到其优质邻接点；接下来，本方法利用邻接点关系更新邻接矩阵，在删除非优质连接的同时保持子空间内样本的连通性；最后，本方法调用谱聚类方法得到最终的聚类结果。

公开(公告)号：CN118052899A

公开(公告)日：2024-05-17

申请号：CN202410199987.8

申请日：2024-02-23

Applicant: 南开大学

Inventor： 杨巨峰 ,  赵攀诚

IPC: G06T11/00 ,  G06F16/242 ,  G06V10/25 ,  G06V10/26 ,  G06V10/762

Abstract: 本发明涉及图像恢复技术领域，尤其涉及一种基于知识检索和推理增强的伪装图像生成方法，S1、提取前景区域图像和获得前景区域隐空间的特征表示；S2、提取前景区域的隐空间表示，提取前景物体局部特征的集合；S3、通过检索得到与前景物体高度相关的背景特征表示；S4、通过重建损失约束重建的背景与真实背景区域一致，构建背景重建任务对背景特征进行推理增强；S5、将重建的背景特征注入到原始条件输入的背景区域，得到增强后的条件输入；S6、将增强后的条件输入扩散模型中，迭代执行去噪过程，最终生成伪装图像。本发明提出输入前景生成背景的生成方式，并针对该方式提出了基于知识检索和推理增强的改进方案，提高了伪装图像生成的效果。

公开(公告)号：CN118042149A

公开(公告)日：2024-05-14

申请号：CN202410096513.0

申请日：2024-01-24

Applicant: 南开大学

Inventor： 杨巨峰 ,  张知诚 ,  胡钧耀

IPC: H04N19/503 ,  H04N19/136

Abstract: 本发明涉及计算机视觉领域，尤其涉及一种基于双分布外推扩散模型的视频预测方法，包括：通过轻量级运动自编码器将条件视频帧变换为条件运动线索；通过对条件运动线索加噪建立扩散模型；通过多层分层运动分布适配器将运动线索外推，转换适配条件帧特征，获得扩散模型的引导线索；根据参考帧的外观特征和获得的引导线索进行运动线索的预测；获得未来运动线索；通过对未来运动线索反复进行迭代，不断细化未来运动线索；获得去噪修正后的未来运动线索；通过轻量级运动解码器变换到未来视频帧；本发明通过对运动线索在更紧凑的运动空间进行建模，并在预测时引入运动线索特征，进一步提升视频预测模型的预测性能和推理速度。