子带网络桥接的半监督图像去雨方法及装置

    公开(公告)号:CN112785523B

    公开(公告)日:2023-10-17

    申请号:CN202110088761.7

    申请日:2021-01-22

    Applicant: 北京大学

    Abstract: 本发明公开了一种子带网络桥接的半监督图像去雨方法及装置,通过深度学习来进行雨天图像的半监督学习,提出了一种递归频带表示来连接无监督和全监督框架。本文提取出一系列由粗到精的频带表示,并通过递归的端到端学习进行增强,进行雨痕去除和细节修正。在感知质量引导的对抗学习下,使用深度频带表示进行重构,生成最终的复原结果。本发明提取出一系列由粗到精的频带表示,并通过递归的端到端学习进行增强,进行雨痕去除和细节修正,提出了一种递归频带表示来连接无监督和全监督框架。

    一种基于视频帧生成的视频编码方法

    公开(公告)号:CN113132735A

    公开(公告)日:2021-07-16

    申请号:CN201911392082.8

    申请日:2019-12-30

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于视频帧生成的视频编码方法,其步骤包括:训练神经网络:每次训练迭代时,从样本视频训练集中抽取一个视频片段的两帧Ik和It送入神经网络中,生成对It的预测计算和目标帧It之间的L1范数并将其反向传播到神经网络,直到神经网络收敛;编码阶段:编码端利用神经网络提取已编码的参考帧和目标待编码非关键帧之间的稀疏运动表征,生成预测帧;将预测帧加入参考帧列表进行帧间预测,然后将帧间预测信息和稀疏运动表征发送给解码端;解码阶段:解码端根据重建的参考帧和传输的稀疏运动表征估计到目标帧的稠密运动信息并生成目标帧;然后将生成的目标帧加入参考帧列表并利用帧间预测信息进行目标帧的重建。

    一种基于图像生成的可伸缩机器视觉编码方法

    公开(公告)号:CN113132727A

    公开(公告)日:2021-07-16

    申请号:CN201911393847.X

    申请日:2019-12-30

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于图像生成的可伸缩机器视觉编码方法,其步骤包括:构建一运动引导图像生成网络;训练神经网络:每次迭代时,从视频序列中选取关键帧与待编码帧及对应的关键点数据并输入网络,计算出关键帧和待编码帧的关键点;根据关键帧与待编码帧的关键点差别进行运动估计;根据估计所得运动以及关键帧获得待编码帧的重建帧;计算关键点位置的预测结果与关键点实际位置之间的预测误差以及计算待编码帧与其重建帧的重建误差,并将其反向传播到网络直到网络收敛;编码阶段:将待处理视频序列的每一帧输入训练后的运动引导图像生成网络,计算每一帧中的关键点的位置信息并进行量化压缩;解码阶段根据码流和任务进行图像重建。

    一种基于反馈优化的人机视觉编码方法和装置

    公开(公告)号:CN111163318B

    公开(公告)日:2021-05-04

    申请号:CN202010020628.3

    申请日:2020-01-09

    Applicant: 北京大学

    Abstract: 本申请公开了一种基于反馈优化的人机视觉编码方法,所述方法包括:编码端获取所述目标视频对应的像素特征后输入预设预测模型中生成语义特征;编码端基于所述语义特征生成视频流和特征流;解码端基于所述编码后的特征流和视频流生成解码视频;解码端当接收到针对客户端输入的参数调整指令时,生成码率参数发送至编码端;编码端获取当前码率;编码端基于所述码率参数对所述当前码率进行调整生成调整后的码率;编码端基于所述调整后的码率增强所述视频流和所述特征流,生成增强后的视频流和增强后的特征流;解码端基于所述增强后的视频流和增强后的特征流对编码端模型进行更新。因此,采用本申请实施例,可以提高视频特征抽取和压缩效率。

    基于视觉质量评价反馈的图像去雨方法及电子装置

    公开(公告)号:CN112614073A

    公开(公告)日:2021-04-06

    申请号:CN202011593324.2

    申请日:2020-12-29

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于视觉质量评价反馈的图像去雨方法及电子装置,包括基于若干样本无雨图像及生成的雨痕与雨雾,构建成对图像数据集;将搜集的样本雨天图像进行去雨处理,并对各处理后样本雨天图像进行人工视觉质量评估,构建非成对雨天图像质量数据集;利用非成对雨天图像质量数据集,训练第一卷积神经网络,得到质量评估网络;使用成对图像数据集和质量评估网络约束,训练第二卷积神经网络,得到图像去雨模型;将待处理图像输入图像去雨模型,得到去雨后的图像。本发明使用了真实的雨天图像参与模型训练,使模型能学习到处理更加丰富和真实的降质类型,引入了视觉质量评价反馈,使生成的去雨图像具有人眼主观意义上更好的质量。

    图像风格刷的实现方法与装置

    公开(公告)号:CN107464273B

    公开(公告)日:2020-09-04

    申请号:CN201610390891.5

    申请日:2016-06-02

    Abstract: 本发明实施例提供一种图像风格刷的实现方法与装置。该方法包括根据输入图与参考图之间的稠密对应,获取输入图与参考图的匹配对应点;根据匹配对应点,确定输入图的第一超像素集合和参考图的第二超像素集合,并进一步确定超像素二部图;对超像素二部图进行二部图匹配,确定输入图的第一超像素集合与参考图的第二超像素集合中相互匹配的超像素对;根据第一颜色空间和所述超像素对,对输入图的超像素进行颜色转换,得到结果图。通过根据参考图具备的多种风格元素,对输入图进行风格转换,得到结果图,实现将参考图中包含的多种风格元素直接、全部转换至输入图上,改变输入图的颜色、灰度、对比度相关的视觉效果,从而使得结果图具有参考图的风格。

    视频图像的处理方法及处理装置

    公开(公告)号:CN107301669B

    公开(公告)日:2020-07-14

    申请号:CN201610232546.9

    申请日:2016-04-14

    Abstract: 本发明提供了一种视频图像的处理方法及处理装置,其中,视频图像的处理方法,包括:基于待着色视频图像集合中的每帧待着色视频图像与已着色视频图像集合之间的第一偏离值,以及每帧待着色视频图像与待着色视频图像集合中的其他待着色视频图像之间的第二偏离值,从待着色视频图像集合中选取将要进行处理的待着色视频图像;从已着色视频图像集合中,选取对所述待着色视频图像进行着色处理时的参考视频图像;根据参考视频图像,对所述待着色视频图像进行着色处理,并在完成对所述待着色视频图像的着色处理后,再次选取将要进行处理的待着色视频图像,并对其进行着色处理,直至完成对待着色视频图像集合中的所有待着色视频图像的着色处理。

Patent Agency Ranking