-
公开(公告)号:CN113626641B
公开(公告)日:2023-09-01
申请号:CN202110916764.5
申请日:2021-08-11
Applicant: 南开大学
IPC: G06F16/74 , G06F16/75 , G06F16/78 , G06F16/33 , G06F16/35 , G06V20/40 , G06V20/62 , G06V10/762 , G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/0442 , G06N3/08
Abstract: 一种基于多模态数据和美学原理的神经网络生成视频摘要的方法,包括:S100:将原始视频输入到多模态数据提取模块后得到文本模态的字幕数据,音频模态的背景音乐数据和图像模态的视频帧数据,再通过用户输入场景文本数据;S200:将多模态数据再分别输入到多模态特征编码模块中编码,输出各模态数据的特征向量表示序列;S300:将特征向量表示序列输入到重要镜头选择模块,分别提取出原始视频中的亮点镜头、代表性镜头、用户期望镜头和叙事镜头。S400:把亮点镜头、代表性镜头、用户期望镜头和叙事镜头输入到美学镜头组装模块中筛选出遵循美学原理的高质量镜头并拼接成视频摘要。相较于现有方法,提高了生成的视频摘要的可看性和叙述性。
-
公开(公告)号:CN114140308A
公开(公告)日:2022-03-04
申请号:CN202111437903.2
申请日:2021-11-30
Applicant: 南开大学
Abstract: 一种基于可逆神经网络的图像盲水印方法。本发明的目的是将水印嵌入载体图像中得到水印图像,并从该水印图像中提取出水印,这里的水印即为比特信息序列。该方法由包含载体图像和水印的两个分支的可逆模块级联以及一个噪声层组合而成,正向过程将水印嵌入到载体图像中合成水印图像,且水印图像与原始载体图像相比差别不大;反向过程从单张水印图像中分离并提取出水印。另外该方法还包含比特信息序列的相关处理。该方法具有抵抗各种攻击的鲁棒性,包括裁剪攻击、高斯模糊攻击、JPEG压缩攻击等。在这些攻击下能以高准确率从受攻击的水印图像中提取水印以保护知识产权和版权信息。本图像盲水印方法无需原始图像的帮助即可提取出水印信息。
-
公开(公告)号:CN110113593B
公开(公告)日:2020-11-06
申请号:CN201910499490.7
申请日:2019-06-11
Applicant: 南开大学
IPC: H04N13/161 , G06N3/04 , G06N3/08
Abstract: 一种基于卷积神经网络的宽基线多视点视频合成方法。该方法的目的是提取周围视点纹理图和深度图的特征并通过预测可分离的空间自适应卷积核进行多视点视频内容的合成。该方法设计了一种新的卷积神经网络模型。该模型用两个分支完成对深度图和纹理图特征的提取和融合,用一组独立的子网络进行可分离的空间自适应卷积核预测,最后将得到的卷积核与输入的纹理图作局部卷积完成视点合成。该方法合理利用深度信息引导自适应卷积核的预测,在宽基线和复杂场景下能够保持良好的效果。
-
公开(公告)号:CN113626641A
公开(公告)日:2021-11-09
申请号:CN202110916764.5
申请日:2021-08-11
Applicant: 南开大学
IPC: G06F16/74 , G06F16/75 , G06F16/78 , G06F16/33 , G06F16/35 , G06K9/00 , G06K9/32 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 一种基于多模态数据和美学原理的神经网络生成视频摘要的方法,包括:S100:将原始视频输入到多模态数据提取模块后得到文本模态的字幕数据,音频模态的背景音乐数据和图像模态的视频帧数据,再通过用户输入场景文本数据;S200:将多模态数据再分别输入到多模态特征编码模块中编码,输出各模态数据的特征向量表示序列;S300:将特征向量表示序列输入到重要镜头选择模块,分别提取出原始视频中的亮点镜头、代表性镜头、用户期望镜头和叙事镜头。S400:把亮点镜头、代表性镜头、用户期望镜头和叙事镜头输入到美学镜头组装模块中筛选出遵循美学原理的高质量镜头并拼接成视频摘要。相较于现有方法,提高了生成的视频摘要的可看性和叙述性。
-
公开(公告)号:CN113240605A
公开(公告)日:2021-08-10
申请号:CN202110554790.8
申请日:2021-05-21
Applicant: 南开大学 , 北京视觉大象科技有限公司
Abstract: 一种基于对称神经网络进行正反双向学校的图像增强方法。目的是将欠曝的图像进行曝光增强,包括对图像的美化和恢复。该方法设计了一种可双向传播的对称神经网络模型,模型在训练过程中同时进行正反双向学习,学习低质量图像到高质量图像的映射的同时,也学习高质量图像向低质量图像的映射,由此保证了图像特征的一致性。模型包含两对编码器,两对解码器和一个特征转换器,其中编码器和解码器完成图像与特征之间的相互转换,特征转换器完成正反双向的特征转换操作。特征转换器中可适配通道注意力机制以及递归学习等机制来提高图像增强的效果。经实验证明,该模型可以在保证图像结构纹理特征的同时,合理地抑制常用方法在细节增强时引入的图像噪声。
-
公开(公告)号:CN112542230A
公开(公告)日:2021-03-23
申请号:CN202011537199.3
申请日:2020-12-23
Applicant: 南开大学
Abstract: 本发明公开一种针对医学图像的多模式交互分割方法及系统,包括:提取医学图像的图像特征;采用多模式包围框选定目标分割区域后生成初始交互指导图,将初始交互指导图与图像特征拼接后输入神经网络得到初始分割结果;采用多模式细节修复指导图对初始分割结果进行修复后得到残差图;根据残差图、多模式细节修复指导图对应的修复范围以及初始分割结果得到最终的医学图像分割结果。是一种用于解决医学图像分割多歧义性的多模式交互方法,可以根据图像结构的复杂性以各种初始交互方式围绕目标区域,基于初始分割可以共同利用区域和边界相互作用来细化由不同歧义引起的标注错误的区域,有效提高医学图像分割精度。
-
公开(公告)号:CN111242003A
公开(公告)日:2020-06-05
申请号:CN202010024556.X
申请日:2020-01-10
Applicant: 南开大学
Abstract: 本发明公开了一种基于多尺度受约束自注意机制的视频显著性物体检测方法。该方法采用了受约束注意力机制,即度量询问元素和视频片段中若干帧在其周围约束区域的相似性生成注意力图,并通过该注意力图作为权重,加权收集若干帧在其周围约束区域的特征信息加强询问元素的特征。同时,利用多分支技术,使每个受约束注意力分支的采样在不同的尺度范围,构成的多尺度受约束自注意机制可以适用于不同尺度大小的输入。该方法成功地利用了视频片段中帧间元素间的视觉联系,从而解决了视频间显著性物体的运动建模。基于该方法构建的视频显著性目标检测系统可以达到极快的检测速度和较高的检测精度。
-
公开(公告)号:CN112884630B
公开(公告)日:2022-06-28
申请号:CN202110155224.X
申请日:2021-02-04
Applicant: 南开大学
Abstract: 一种基于可逆神经网络的大容量图像隐写与恢复方法。该方法的目的是将一张或多张隐藏图像嵌入单张载体图像中,并从载密图像中恢复出所有的隐藏图像。该方法设计了一种可以双向映射的图像隐写模型。该模型由包含载体和隐藏两个分支的可逆模块级联而成,正向映射将隐藏图像嵌入到载体图像中合成载密图像,反向映射从单张载密图像中分离并恢复出载体图像和隐藏图像。该方法充分利用模型的可逆性,其正向隐写和反向恢复过程共享所有参数,不仅能够同时获得高质量的载密图像和恢复图像,且有效提高了隐写的容量。
-
公开(公告)号:CN113592707A
公开(公告)日:2021-11-02
申请号:CN202110883932.5
申请日:2021-08-03
Applicant: 南开大学
Abstract: 一种基于图像内容外扩和美学引导的构图方法。目的是允许构图的候选框跨出图像边界寻找合适的构图。该方法设计了一种可以根据图像内容调整图像的视域的模型,并在调整后的视域中选取最理想的候选框。模型包括视域评估模块,图像内容补全模块,候选框选择模块三部分。视域评估模块,评估原始图像的视域能否找到理想的构图,若否,则预测图像边界需要外扩的距离。图像内容补全模块,补全调整视域后图像未知区域的内容。候选框选择模块,在保证候选框内图像生成质量的前提下,选择最理想的候选框。经实验证明,该方法解决了现有的图像构图方法局限于原始图像的边界,无法跨出图像边界找到合适的构图的问题,极大地提高了构图方法的实用性。
-
公开(公告)号:CN111882486B
公开(公告)日:2023-03-10
申请号:CN202010570081.4
申请日:2020-06-21
Applicant: 南开大学
IPC: G06T3/40
Abstract: 一种基于低秩先验信息的混合分辨率多视点视频超分辨方法,属于图像和视频处理技术领域。混合分辨率多视点视频是由多路多视点视频组成,包括多路低分辨率视频和多路高分辨率视频,所提出的超分辨率方法的目的是利用高分辨率视频的纹理等信息来重构低分辨率视频,同时将图像\视频的低秩先验作为约束条件。该方法提出了一种新的混合多视点超分辨的方法,该方法考虑到多视点视频间包含着许多相似的信息,该方法基于流形嵌入的思想充分利用高分辨率视频的纹理等信息,同时利用低秩先验信息来抑制噪声。该方法充分利用了高分辨率视频的纹理等信息,同时有效的抑制了噪声,有效地对低分辨率视频进行了重构。
-
-
-
-
-
-
-
-
-