-
公开(公告)号:CN112785523B
公开(公告)日:2023-10-17
申请号:CN202110088761.7
申请日:2021-01-22
Applicant: 北京大学
IPC: G06T5/00 , G06V10/774 , G06N3/0464
Abstract: 本发明公开了一种子带网络桥接的半监督图像去雨方法及装置,通过深度学习来进行雨天图像的半监督学习,提出了一种递归频带表示来连接无监督和全监督框架。本文提取出一系列由粗到精的频带表示,并通过递归的端到端学习进行增强,进行雨痕去除和细节修正。在感知质量引导的对抗学习下,使用深度频带表示进行重构,生成最终的复原结果。本发明提取出一系列由粗到精的频带表示,并通过递归的端到端学习进行增强,进行雨痕去除和细节修正,提出了一种递归频带表示来连接无监督和全监督框架。
-
公开(公告)号:CN113259676B
公开(公告)日:2023-01-17
申请号:CN202010084834.0
申请日:2020-02-10
Applicant: 北京大学
IPC: H04N19/182 , H04N19/124 , H04N19/42 , G06T9/00 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于深度学习的图像压缩方法和装置,主要用于图像的编码压缩,即将原始图像信号,利用其冗余性,压缩编码成二进制码流,并且尽可能地使得原本的图像信号在解码时得以还原重建。本发明基于卷积神经网络,使用多尺度超先验结构,充分利用超先验表示信息进行重建,实现了全可并行网络结构,可以有效地提高图像压缩性能,尤其是针对高分辨率图像有明显优化。
-
公开(公告)号:CN113132735A
公开(公告)日:2021-07-16
申请号:CN201911392082.8
申请日:2019-12-30
Applicant: 北京大学
IPC: H04N19/503 , H04N19/136 , H04N19/42 , H04N19/124 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于视频帧生成的视频编码方法,其步骤包括:训练神经网络:每次训练迭代时,从样本视频训练集中抽取一个视频片段的两帧Ik和It送入神经网络中,生成对It的预测计算和目标帧It之间的L1范数并将其反向传播到神经网络,直到神经网络收敛;编码阶段:编码端利用神经网络提取已编码的参考帧和目标待编码非关键帧之间的稀疏运动表征,生成预测帧;将预测帧加入参考帧列表进行帧间预测,然后将帧间预测信息和稀疏运动表征发送给解码端;解码阶段:解码端根据重建的参考帧和传输的稀疏运动表征估计到目标帧的稠密运动信息并生成目标帧;然后将生成的目标帧加入参考帧列表并利用帧间预测信息进行目标帧的重建。
-
公开(公告)号:CN113132727A
公开(公告)日:2021-07-16
申请号:CN201911393847.X
申请日:2019-12-30
Applicant: 北京大学
IPC: H04N19/124 , H04N19/172 , H04N19/42 , H04N19/44 , H04N19/70 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于图像生成的可伸缩机器视觉编码方法,其步骤包括:构建一运动引导图像生成网络;训练神经网络:每次迭代时,从视频序列中选取关键帧与待编码帧及对应的关键点数据并输入网络,计算出关键帧和待编码帧的关键点;根据关键帧与待编码帧的关键点差别进行运动估计;根据估计所得运动以及关键帧获得待编码帧的重建帧;计算关键点位置的预测结果与关键点实际位置之间的预测误差以及计算待编码帧与其重建帧的重建误差,并将其反向传播到网络直到网络收敛;编码阶段:将待处理视频序列的每一帧输入训练后的运动引导图像生成网络,计算每一帧中的关键点的位置信息并进行量化压缩;解码阶段根据码流和任务进行图像重建。
-
公开(公告)号:CN111163318B
公开(公告)日:2021-05-04
申请号:CN202010020628.3
申请日:2020-01-09
Applicant: 北京大学
IPC: H04N19/184 , H04N19/146 , H04N19/136
Abstract: 本申请公开了一种基于反馈优化的人机视觉编码方法,所述方法包括:编码端获取所述目标视频对应的像素特征后输入预设预测模型中生成语义特征;编码端基于所述语义特征生成视频流和特征流;解码端基于所述编码后的特征流和视频流生成解码视频;解码端当接收到针对客户端输入的参数调整指令时,生成码率参数发送至编码端;编码端获取当前码率;编码端基于所述码率参数对所述当前码率进行调整生成调整后的码率;编码端基于所述调整后的码率增强所述视频流和所述特征流,生成增强后的视频流和增强后的特征流;解码端基于所述增强后的视频流和增强后的特征流对编码端模型进行更新。因此,采用本申请实施例,可以提高视频特征抽取和压缩效率。
-
公开(公告)号:CN112614073A
公开(公告)日:2021-04-06
申请号:CN202011593324.2
申请日:2020-12-29
Applicant: 北京大学
Abstract: 本发明公开了一种基于视觉质量评价反馈的图像去雨方法及电子装置,包括基于若干样本无雨图像及生成的雨痕与雨雾,构建成对图像数据集;将搜集的样本雨天图像进行去雨处理,并对各处理后样本雨天图像进行人工视觉质量评估,构建非成对雨天图像质量数据集;利用非成对雨天图像质量数据集,训练第一卷积神经网络,得到质量评估网络;使用成对图像数据集和质量评估网络约束,训练第二卷积神经网络,得到图像去雨模型;将待处理图像输入图像去雨模型,得到去雨后的图像。本发明使用了真实的雨天图像参与模型训练,使模型能学习到处理更加丰富和真实的降质类型,引入了视觉质量评价反馈,使生成的去雨图像具有人眼主观意义上更好的质量。
-
公开(公告)号:CN107464273B
公开(公告)日:2020-09-04
申请号:CN201610390891.5
申请日:2016-06-02
Applicant: 北京大学 , 北大方正集团有限公司 , 北京北大方正电子有限公司
IPC: G06T11/40
Abstract: 本发明实施例提供一种图像风格刷的实现方法与装置。该方法包括根据输入图与参考图之间的稠密对应,获取输入图与参考图的匹配对应点;根据匹配对应点,确定输入图的第一超像素集合和参考图的第二超像素集合,并进一步确定超像素二部图;对超像素二部图进行二部图匹配,确定输入图的第一超像素集合与参考图的第二超像素集合中相互匹配的超像素对;根据第一颜色空间和所述超像素对,对输入图的超像素进行颜色转换,得到结果图。通过根据参考图具备的多种风格元素,对输入图进行风格转换,得到结果图,实现将参考图中包含的多种风格元素直接、全部转换至输入图上,改变输入图的颜色、灰度、对比度相关的视觉效果,从而使得结果图具有参考图的风格。
-
公开(公告)号:CN107301669B
公开(公告)日:2020-07-14
申请号:CN201610232546.9
申请日:2016-04-14
Applicant: 北京大学 , 北大方正集团有限公司 , 北京北大方正电子有限公司
IPC: G06T11/00
Abstract: 本发明提供了一种视频图像的处理方法及处理装置,其中,视频图像的处理方法,包括:基于待着色视频图像集合中的每帧待着色视频图像与已着色视频图像集合之间的第一偏离值,以及每帧待着色视频图像与待着色视频图像集合中的其他待着色视频图像之间的第二偏离值,从待着色视频图像集合中选取将要进行处理的待着色视频图像;从已着色视频图像集合中,选取对所述待着色视频图像进行着色处理时的参考视频图像;根据参考视频图像,对所述待着色视频图像进行着色处理,并在完成对所述待着色视频图像的着色处理后,再次选取将要进行处理的待着色视频图像,并对其进行着色处理,直至完成对待着色视频图像集合中的所有待着色视频图像的着色处理。
-
公开(公告)号:CN110930441A
公开(公告)日:2020-03-27
申请号:CN201811098142.0
申请日:2018-09-20
Applicant: 北京大学 , 北大方正集团有限公司 , 北京北大方正电子有限公司
IPC: G06T7/33
Abstract: 本发明实施例公开了一种图像的处理方法、装置、设备及计算机可读存储介质,方法包括:提取待处理的图像的特征;根据所述待处理的图像的特征,获取所述待处理的图像对应的注意力矩阵;根据所述注意力矩阵,对所述待处理的图像进行真实还原处理,以生成处理后的图像。从而能够实现对带有水滴与雾气的图像上水滴与雾气的精准去除,还原真实的图像。
-
公开(公告)号:CN110557521A
公开(公告)日:2019-12-10
申请号:CN201810541578.6
申请日:2018-05-30
Applicant: 北京大学 , 北大方正集团有限公司 , 北京北大方正电子有限公司
Abstract: 本发明提供了一种视频去雨的方法、装置、设备及计算机可读存储介质。该方法包括:搭建进行视频去雨的循环深度神经网络模型;对循环深度神经网络模型进行训练,以获得优化后的循环深度神经网络模型;采用优化后的循环深度神经网络模型对待处理的含雨视频进行去雨操作。由于循环深度神经网络模型能够编码相邻帧之间的背景信息,抽取更具有表示性的特征,能够整合含雨视频中的时域和空域上的冗余信息,所以能够达到很好的视频去雨的效果,使恢复出的视频更加准确和清晰。
-
-
-
-
-
-
-
-
-