一种极低码率人机协同图像编码训练方法及编解码方法

    公开(公告)号:CN113949880A

    公开(公告)日:2022-01-18

    申请号:CN202111026165.2

    申请日:2021-09-02

    Applicant: 北京大学

    Abstract: 本发明公开了一种极低码率人机协同图像编码训练方法及编解码方法。本方法为:1)利用训练集训练得到一个生成模型;2)对该训练集中的每一图像Ij进行特征提取和流形映射,得到Ij的流形特征;3)使用超先验模型对流形特征构建码率约束和编解码,得到二进制码流和重建后的流形特征;4)根据码率约束对Ij进行紧致损失函数计算;5)对重建后的流形特征进行人眼视觉映射并输入到生成模型中,根据所得人眼视觉重建结果进行损失函数计算;6)将重建后的流形特征输入到机器视觉模型中,根据所得机器视觉预测结果进行损失函数计算;7)将各损失进行加和更新权值;8)重复2)‑7)直到神经网络的损失收敛,得到极低码率人机协同图像编码器。

    低光照视频增强模型的训练及低光照视频的增强方法

    公开(公告)号:CN118469849A

    公开(公告)日:2024-08-09

    申请号:CN202410485622.1

    申请日:2024-04-22

    Applicant: 北京大学

    Abstract: 本发明涉及一种低光照视频增强模型的训练及低光照视频的增强方法,通过无监督训练的方式,实现不需要获取成对数据,只需要低光照场景下的视频即可完成对低光照视频增强模型的训练,并且,通过损失函数的设计,在总损失函数增加预测视频帧熵值的损失函数,从而使得训练得到的低光照视频增强模型能够学习低光照视频中本身的噪声,并且减少输出视频的噪声,从而使低光照视频增强模型面对真实场景下的低光照视频,也可以达到更好的增强效果,不会因为缺少监督导致噪声较大,或对降噪策略设置的不合理,而影响实际的增强效果。

    一种深度特征压缩方法
    6.
    发明授权

    公开(公告)号:CN113537456B

    公开(公告)日:2023-10-17

    申请号:CN202110660867.X

    申请日:2021-06-15

    Applicant: 北京大学

    Abstract: 本发明公开了一种深度特征压缩方法,本发明构建并训练一压缩模型,该模型首先对神经网络提取的图像特征表示进行变换,产生变换后的紧凑表示,提取变换后的表示的超先验码流;超先验码流用于产生码本各个基元素的线性组合系数;码本从特征中学习获得;根据线性组合系数和对应的码本产生超先验概率估计,从而使用熵编码器进行熵编码,产生码流;码流通过熵解码和解码变换产生输出的特征表示。本发明能够对深度特征进行有效压缩,而且能够对多个任务特征进行协同压缩,重建时,对特征进行分离操作,分别产生对应不同任务的重建特征;本发明还能够支持训练时未见的新任务。

    一种使用长曝光补偿的低光照图像增强方法

    公开(公告)号:CN115240022A

    公开(公告)日:2022-10-25

    申请号:CN202210651629.7

    申请日:2022-06-09

    Applicant: 北京大学

    Abstract: 本发明公开了一种使用长曝光补偿的低光照图像增强方法。本方法为:1)收集低光照训练数据集,其中所述低光照训练数据集中的每一训练样本包括同一场景的低光照图像和正常光照图像;根据每一训练样本生成一组对应的短曝光图像、长曝光图像和真实光照图像,得到一合成数据集S;2)利用所述合成数据集S训练低光照增强模型,所述低光照增强模型包括M‑1个特征对齐模块和M‑1个提亮模块;3)将待提亮的短曝光图像和对应的模糊长曝光图像输入训练后的低光照增强模型,得到对应的低光照增强图像。本发明能够显著提升低光照图片增强性能。

    一种极低码率人机协同图像编码训练方法及编解码方法

    公开(公告)号:CN113949880B

    公开(公告)日:2022-10-14

    申请号:CN202111026165.2

    申请日:2021-09-02

    Applicant: 北京大学

    Abstract: 本发明公开了一种极低码率人机协同图像编码训练方法及编解码方法。本方法为:1)利用训练集训练得到一个生成模型;2)对该训练集中的每一图像Ij进行特征提取和流形映射,得到Ij的流形特征;3)使用超先验模型对流形特征构建码率约束和编解码,得到二进制码流和重建后的流形特征;4)根据码率约束对Ij进行紧致损失函数计算;5)对重建后的流形特征进行人眼视觉映射并输入到生成模型中,根据所得人眼视觉重建结果进行损失函数计算;6)将重建后的流形特征输入到机器视觉模型中,根据所得机器视觉预测结果进行损失函数计算;7)将各损失进行加和更新权值;8)重复2)‑7)直到神经网络的损失收敛,得到极低码率人机协同图像编码器。

    一种深度特征压缩方法
    10.
    发明公开

    公开(公告)号:CN113537456A

    公开(公告)日:2021-10-22

    申请号:CN202110660867.X

    申请日:2021-06-15

    Applicant: 北京大学

    Abstract: 本发明公开了一种深度特征压缩方法,本发明构建并训练一压缩模型,该模型首先对神经网络提取的图像特征表示进行变换,产生变换后的紧凑表示,提取变换后的表示的超先验码流;超先验码流用于产生码本各个基元素的线性组合系数;码本从特征中学习获得;根据线性组合系数和对应的码本产生超先验概率估计,从而使用熵编码器进行熵编码,产生码流;码流通过熵解码和解码变换产生输出的特征表示。本发明能够对深度特征进行有效压缩,而且能够对多个任务特征进行协同压缩,重建时,对特征进行分离操作,分别产生对应不同任务的重建特征;本发明还能够支持训练时未见的新任务。

Patent Agency Ranking