-
公开(公告)号:CN115278249A
公开(公告)日:2022-11-01
申请号:CN202210735183.6
申请日:2022-06-27
Applicant: 北京大学
IPC: H04N19/147 , H04N19/176 , H04N19/42 , G06N3/04 , G06N3/08
Abstract: 本发明公开一种基于视觉自注意力网络的视频块级率失真优化方法及系统,属于数字视频增强领域,将多头自注意力机制引入视频压缩后处理任务中,充分利用自注意力机制强大的建模能力学习受损帧到无损帧的映射,并构建3种基于视觉自注意力网络的后处理模型,引入多种网络架构针对不同内容进行块级率失真优化,从而高效消除视频在解码重建时产生的伪影和压缩噪声。
-
公开(公告)号:CN113949880A
公开(公告)日:2022-01-18
申请号:CN202111026165.2
申请日:2021-09-02
Applicant: 北京大学
Abstract: 本发明公开了一种极低码率人机协同图像编码训练方法及编解码方法。本方法为:1)利用训练集训练得到一个生成模型;2)对该训练集中的每一图像Ij进行特征提取和流形映射,得到Ij的流形特征;3)使用超先验模型对流形特征构建码率约束和编解码,得到二进制码流和重建后的流形特征;4)根据码率约束对Ij进行紧致损失函数计算;5)对重建后的流形特征进行人眼视觉映射并输入到生成模型中,根据所得人眼视觉重建结果进行损失函数计算;6)将重建后的流形特征输入到机器视觉模型中,根据所得机器视觉预测结果进行损失函数计算;7)将各损失进行加和更新权值;8)重复2)‑7)直到神经网络的损失收敛,得到极低码率人机协同图像编码器。
-
公开(公告)号:CN113259676A
公开(公告)日:2021-08-13
申请号:CN202010084834.0
申请日:2020-02-10
Applicant: 北京大学
IPC: H04N19/182 , H04N19/124 , H04N19/42 , G06T9/00 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于深度学习的图像压缩方法和装置,主要用于图像的编码压缩,即将原始图像信号,利用其冗余性,压缩编码成二进制码流,并且尽可能地使得原本的图像信号在解码时得以还原重建。本发明基于卷积神经网络,使用多尺度超先验结构,充分利用超先验表示信息进行重建,实现了全可并行网络结构,可以有效地提高图像压缩性能,尤其是针对高分辨率图像有明显优化。
-
公开(公告)号:CN113259676B
公开(公告)日:2023-01-17
申请号:CN202010084834.0
申请日:2020-02-10
Applicant: 北京大学
IPC: H04N19/182 , H04N19/124 , H04N19/42 , G06T9/00 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种基于深度学习的图像压缩方法和装置,主要用于图像的编码压缩,即将原始图像信号,利用其冗余性,压缩编码成二进制码流,并且尽可能地使得原本的图像信号在解码时得以还原重建。本发明基于卷积神经网络,使用多尺度超先验结构,充分利用超先验表示信息进行重建,实现了全可并行网络结构,可以有效地提高图像压缩性能,尤其是针对高分辨率图像有明显优化。
-
公开(公告)号:CN118469849A
公开(公告)日:2024-08-09
申请号:CN202410485622.1
申请日:2024-04-22
Applicant: 北京大学
IPC: G06T5/70 , G06T5/77 , G06T5/92 , G06T5/60 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种低光照视频增强模型的训练及低光照视频的增强方法,通过无监督训练的方式,实现不需要获取成对数据,只需要低光照场景下的视频即可完成对低光照视频增强模型的训练,并且,通过损失函数的设计,在总损失函数增加预测视频帧熵值的损失函数,从而使得训练得到的低光照视频增强模型能够学习低光照视频中本身的噪声,并且减少输出视频的噪声,从而使低光照视频增强模型面对真实场景下的低光照视频,也可以达到更好的增强效果,不会因为缺少监督导致噪声较大,或对降噪策略设置的不合理,而影响实际的增强效果。
-
公开(公告)号:CN113537456B
公开(公告)日:2023-10-17
申请号:CN202110660867.X
申请日:2021-06-15
Applicant: 北京大学
IPC: G06N3/0464 , G06N3/048 , G06N3/082 , G06N3/084 , G06V10/764 , G06V10/82
Abstract: 本发明公开了一种深度特征压缩方法,本发明构建并训练一压缩模型,该模型首先对神经网络提取的图像特征表示进行变换,产生变换后的紧凑表示,提取变换后的表示的超先验码流;超先验码流用于产生码本各个基元素的线性组合系数;码本从特征中学习获得;根据线性组合系数和对应的码本产生超先验概率估计,从而使用熵编码器进行熵编码,产生码流;码流通过熵解码和解码变换产生输出的特征表示。本发明能够对深度特征进行有效压缩,而且能够对多个任务特征进行协同压缩,重建时,对特征进行分离操作,分别产生对应不同任务的重建特征;本发明还能够支持训练时未见的新任务。
-
公开(公告)号:CN115278249B
公开(公告)日:2024-06-28
申请号:CN202210735183.6
申请日:2022-06-27
Applicant: 北京大学
IPC: H04N19/147 , H04N19/176 , H04N19/42 , G06N3/0464 , G06N3/08
Abstract: 本发明公开一种基于视觉自注意力网络的视频块级率失真优化方法及系统,属于数字视频增强领域,将多头自注意力机制引入视频压缩后处理任务中,充分利用自注意力机制强大的建模能力学习受损帧到无损帧的映射,并构建3种基于视觉自注意力网络的后处理模型,引入多种网络架构针对不同内容进行块级率失真优化,从而高效消除视频在解码重建时产生的伪影和压缩噪声。
-
公开(公告)号:CN115240022A
公开(公告)日:2022-10-25
申请号:CN202210651629.7
申请日:2022-06-09
Applicant: 北京大学
IPC: G06V10/774 , G06V10/74 , G06V10/80 , G06V10/82 , G06T5/00
Abstract: 本发明公开了一种使用长曝光补偿的低光照图像增强方法。本方法为:1)收集低光照训练数据集,其中所述低光照训练数据集中的每一训练样本包括同一场景的低光照图像和正常光照图像;根据每一训练样本生成一组对应的短曝光图像、长曝光图像和真实光照图像,得到一合成数据集S;2)利用所述合成数据集S训练低光照增强模型,所述低光照增强模型包括M‑1个特征对齐模块和M‑1个提亮模块;3)将待提亮的短曝光图像和对应的模糊长曝光图像输入训练后的低光照增强模型,得到对应的低光照增强图像。本发明能够显著提升低光照图片增强性能。
-
公开(公告)号:CN113949880B
公开(公告)日:2022-10-14
申请号:CN202111026165.2
申请日:2021-09-02
Applicant: 北京大学
Abstract: 本发明公开了一种极低码率人机协同图像编码训练方法及编解码方法。本方法为:1)利用训练集训练得到一个生成模型;2)对该训练集中的每一图像Ij进行特征提取和流形映射,得到Ij的流形特征;3)使用超先验模型对流形特征构建码率约束和编解码,得到二进制码流和重建后的流形特征;4)根据码率约束对Ij进行紧致损失函数计算;5)对重建后的流形特征进行人眼视觉映射并输入到生成模型中,根据所得人眼视觉重建结果进行损失函数计算;6)将重建后的流形特征输入到机器视觉模型中,根据所得机器视觉预测结果进行损失函数计算;7)将各损失进行加和更新权值;8)重复2)‑7)直到神经网络的损失收敛,得到极低码率人机协同图像编码器。
-
公开(公告)号:CN113537456A
公开(公告)日:2021-10-22
申请号:CN202110660867.X
申请日:2021-06-15
Applicant: 北京大学
Abstract: 本发明公开了一种深度特征压缩方法,本发明构建并训练一压缩模型,该模型首先对神经网络提取的图像特征表示进行变换,产生变换后的紧凑表示,提取变换后的表示的超先验码流;超先验码流用于产生码本各个基元素的线性组合系数;码本从特征中学习获得;根据线性组合系数和对应的码本产生超先验概率估计,从而使用熵编码器进行熵编码,产生码流;码流通过熵解码和解码变换产生输出的特征表示。本发明能够对深度特征进行有效压缩,而且能够对多个任务特征进行协同压缩,重建时,对特征进行分离操作,分别产生对应不同任务的重建特征;本发明还能够支持训练时未见的新任务。
-
-
-
-
-
-
-
-
-