-
公开(公告)号:CN116546237A
公开(公告)日:2023-08-04
申请号:CN202310273999.6
申请日:2023-03-20
Applicant: 南开大学
IPC: H04N21/234 , G06T7/269 , G06N3/0464 , G06N3/0455 , G06N3/08 , H04N21/2343 , H04N21/44 , H04N21/4402
Abstract: 本发明涉及视频插帧技术领域,提供了一种基于全对多场变换的视频插帧方法及系统,包括:基于一对视频帧,得到双向相关性容器、双边光流、中间帧特征和若干层级输入帧特征对,并经过若干个中间层,对双边光流和中间帧特征进行更新,得到输出视频帧;在每个中间层中,先将双边光流缩放转换为双向光流,并根据双向光流在双向相关性容器中取出相关性特征,计算双向光流的残差以及中间帧特征的残差,根据残差对双边光流和中间帧特征进行更新,更新后的双边光流估计对输入帧特征进行扭曲操作,扭曲后的输入帧特征与中间帧特征一同进入解码器进行空间尺度放大。保证了跨尺度光流的保真度,减少了错误的累积与放大,有利于生成更加精确的视频插帧结果。
-
公开(公告)号:CN111242870B
公开(公告)日:2023-05-05
申请号:CN202010064079.X
申请日:2020-01-20
Applicant: 南开大学
IPC: G06T5/00
Abstract: 本发明公开了一种基于深度学习知识蒸馏技术的低光图像增强方法,属于图像处理技术领域。该方法基于新型的深度学习知识蒸馏技术,将图像去噪老师网络的去噪能力蒸馏到图像增强学生网络里,从而使得学生网络在增强图像的过程中抑制并去除图片中的噪声。设定学生网络与老师网络:其中学生网络的任务是进行低光图像增强,老师网络的任务是去掉图像噪声。利用老师网络向学生网络进行图像去噪能力的蒸馏迁移,使学生网络在进行低光图像增强任务的同时,具备老师网络的图像去噪能力。本发明克服了传统低光图像增强方法中噪声随着图像增强而相应增强带来的质量损失和视觉影响,极大地提高了低光图像增强的效果。
-
公开(公告)号:CN110135462B
公开(公告)日:2022-12-20
申请号:CN201910311265.6
申请日:2019-04-18
Applicant: 南开大学
IPC: G06V10/764 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于上下文信息的艺术画风格分类方法,属于计算机视觉技术领域。该方法的目的是从艺术史中找到影响艺术画风格发展的信息,利用这些信息生成标签分布并用于训练卷积神经网络,即将艺术画的上下文信息以标签分布的形式作为卷积神经网络的输入来辅助图像训练,从而解决艺术画风格分类的问题。在艺术画分类任务中,大多数方法都仅仅利用图像特征进行分类,而忽视了艺术画在定义风格时往往会考虑它创作时所处上下文背景的现象。针对这一问题,通过本发明的标签分布生成方法将艺术画的上下文信息转化为标签分布,并将其作为卷积神经网络的输入标签,而后同时优化分类损失函数和标签分布损失函数,最终应用于艺术画风格分类的任务中。
-
公开(公告)号:CN114782262A
公开(公告)日:2022-07-22
申请号:CN202210316920.9
申请日:2022-03-29
Applicant: 南开大学
Abstract: 本发明属于计算机视觉技术领域,提供了一种基于光流引导的端到端视频补全方法及系。该方法包括,获取待处理的视频;将所述待处理的视频切分为局部邻域视频帧与非局部参考视频帧;通过编码器将局部邻域视频帧和非局部参考视频帧转化为局部邻域特征和非局部参考特征;基于所述局部邻域视频帧,采用光流补全模块进行端到端地帧间光流估计及补全,得到补全后的双向光流;基于局部邻域特征和补全后的双向光流,采用特征传播模块进行基于光流引导的局部信息补充,得到补充后的局部邻域特征;基于所述非局部参考特征和补充后的局部邻域特征,得到补全后的视频。
-
公开(公告)号:CN112950470B
公开(公告)日:2022-07-15
申请号:CN202110217175.8
申请日:2021-02-26
Applicant: 南开大学
IPC: G06T3/40 , G06V10/42 , G06V10/44 , G06V10/62 , G06V10/771 , G06V10/80 , G06V10/82 , G06K9/62 , G06N3/04
Abstract: 本发明提供了基于时域特征融合的视频超分辨率重建方法及系统。其中该方法包括获取视频的图像序列,提取图像序列特征,得到初始特征序列;将初始特征序列中的特征进行局部时域特征融合,得到局部特征序列;将初始特征序列中的非边界特征与其最邻近的两个特征进行融合;对于初始特征序列中的边界特征,将两个该边界特征及与其最邻近的一个特征进行融合;将局部特征序列输入至双向采样的可变卷积长短时记忆网络,对局部特征序列中每一个特征进行全局范围内的特征补充,得到全局特征序列;提取全局特征序列的超分辨率特征,并与初始特征序列对应相加,再提取特征相加后序列的高分辨率上采样特征,经卷积神经网络得到最终的高分辨率重建图像序列。
-
公开(公告)号:CN112884730B
公开(公告)日:2022-06-07
申请号:CN202110160367.X
申请日:2021-02-05
Applicant: 南开大学
Abstract: 本发明提供了一种协同显著性物体检测方法及系统,获取不同的图片组,对图片组进行编码,以提取特征图;对提取的特征图进行全局关系学习,得到图片组共性,并将其与特征图进行深度分离滤波,进行解码生成检测结果。对检测结果进行测试,如果不满足要求,则对提取的特征图和图片组共性进行全局协同学习,对特征图进行分类,以得到更好的图片特征,直到测试结果满足要求。本发明大大提升了模型的辨别能力,进而提升了协同显著性物体检测的性能。
-
公开(公告)号:CN112528899B
公开(公告)日:2022-04-12
申请号:CN202011500709.X
申请日:2020-12-17
Applicant: 南开大学
Abstract: 本申请公开了基于隐含深度信息恢复的图像显著性物体检测方法及系统,获取目标图像和目标图像对应的图像深度信息;将目标图像和目标图像对应的图像深度信息,同时输入到训练后的基于隐含深度信息恢复的神经网络模型中;基于隐含深度信息恢复的神经网络模型分别实现对目标图像进行特征提取和对图像深度信息的特征提取;将两个特征提取各自得到的特征进行跨模态特征融合;将跨模态特征融合得到的特征,与基于隐含深度信息恢复的神经网络模型对目标图像进行特征提取得到的各个特征,依次进行特征融合得到最终的融合特征;将最终的融合特征进行预测,得到预测的显著性物体图像。
-
公开(公告)号:CN112884730A
公开(公告)日:2021-06-01
申请号:CN202110160367.X
申请日:2021-02-05
Applicant: 南开大学
Abstract: 本发明提供了一种基于协作学习的协同显著性物体检测方法及系统,获取不同的图片组,对图片组进行编码,以提取特征图;对提取的特征图进行全局关系学习,得到图片组共性,并将其与特征图进行深度分离滤波,进行解码生成检测结果。对检测结果进行测试,如果不满足要求,则对提取的特征图和图片组共性进行全局协同学习,对特征图进行分类,以得到更好的图片特征,直到测试结果满足要求。本发明大大提升了模型的辨别能力,进而提升了协同显著性物体检测的性能。
-
公开(公告)号:CN112541857A
公开(公告)日:2021-03-23
申请号:CN202011551847.0
申请日:2020-12-24
Applicant: 南开大学
Abstract: 本发明公开了基于增强表现力神经网络批归一化的图像表征方法及系统,包括:获取目标图像;提取目标图像的特征;对目标图像的特征进行居中校准,得到居中校准后的结果;对居中校准后的结果进行居中归一化处理,得到居中归一化结果;对居中归一化结果进行缩放归一化处理,得到缩放归一化结果;对缩放归一化结果进行缩放校准,得到缩放校准结果;对缩放校准结果进行仿射变换,得到输出特征;基于输出特征对图像进行表征。本申请通过对神经网络模型采用改进的批归一化方式,实现对图像的精确表征。
-
公开(公告)号:CN110458221B
公开(公告)日:2021-03-16
申请号:CN201910715341.X
申请日:2019-08-05
Applicant: 南开大学
Abstract: 本发明公开了一种基于在线注意力累积的挖掘目标物体区域的方法。该方法的目的是以弱监督的方式高效地找到图像的目标物体区域,这种区域可以为弱监督语义分割任务提供监督。基于训练过程中注意力不停地在目标物体上变化的观察,该方法在训练过程中为每一个目标物体维护了一张存储图。通过不断的将每一次迭代中生成的注意力图融合到存储图中,这个在线注意力累积过程可以将注意力在目标物体上出现过的所有位置记录下来,帮助找到整个目标物体区域。另外,该方法在更新存储图的过程中,通过改进的交叉熵损失函数对存储图中学习到的知识进行监督,从而得到更加完整的物体区域。
-
-
-
-
-
-
-
-
-