可扩展人机协同图像编码方法及系统、解码器训练方法

    公开(公告)号:CN113132755B

    公开(公告)日:2022-04-01

    申请号:CN201911415561.7

    申请日:2019-12-31

    Applicant: 北京大学

    Abstract: 本发明公开了一种可扩展人机协同图像编码方法及编码系统。本方法为:提取各样本图片的边缘图并矢量化,作为驱动机器视觉任务的紧凑表示;在矢量化后的边缘图中进行关键点提取作为辅助信息;对紧凑表示和辅助信息分别进行熵编码无损压缩,获得两路码流;对两路码流进行初步解码,获得边缘图以及辅助信息;将解码得到的边缘图以及辅助信息输入生成神经网络中,进行网络的前向计算;根据得到的计算结果与对应原始图片进行损失函数计算,并将计算的损失反向传播到神经网络进行网络权值更新直到神经网络收敛,得到双路码流解码器;获取待处理图像的边缘图和辅助信息并编码压缩后得到两路码流;双路码流解码器对收到的码流解码,重建图像。

    一种粗粒度上下文熵编码方法

    公开(公告)号:CN113347422A

    公开(公告)日:2021-09-03

    申请号:CN202110521800.8

    申请日:2021-05-13

    Applicant: 北京大学

    Abstract: 本发明公开了一种粗粒度上下文熵编码方法。本方法为:1)从图像数据集中选取一原始图像并送入神经网络的编码器中进行编码;2)对编码后的张量进行划分;将每一子张量视为一待编码块;3)熵编码网络对每一待编码块进行上下文熵编码,获得待编码块的上下文信息;4)将每一上下文信息送入概率预测网络中,获得对应待编码块所有元素的概率分布参数;5)根据概率分布参数计算张量信息熵;将张量送入解码器,得到解码重建图像并计算失真项损失函数的损失值;6)根据步骤5)所得结果计算率失真损失函数的损失值并反向传播到神经网络各层;7)重复步骤1)‑6)直到神经网络收敛;8)将目标图像送入训练后的神经网络得到目标图像的编码。

    基于深度学习神经网络的环路滤波方法

    公开(公告)号:CN112019854A

    公开(公告)日:2020-12-01

    申请号:CN201910450808.2

    申请日:2019-05-28

    Applicant: 北京大学

    Abstract: 本发明为一种基于深度学习神经网络的环路滤波方法,利用了视频编码中块划分树的信息,进一步提升视频恢复质量。与传统的视频编码器内采用了手工设计的去块效应模块以及样点自适应补偿模块不同,本发明利用了深度卷积神经网络在大量训练数据集上进行学习,从而更准确地学习到从低质量视频到高质量视频的非线性映射。本发明为块与块间增加了连接,从而可以传递未被压缩的特征信息。此外,本发明还利用了视频编码器提供的块划分树中的多层块划分信息,生成多层编码单元均值图,进一步辅助神经网络更好地消除块效应。

    基于深度学习神经网络的环路滤波方法

    公开(公告)号:CN112019854B

    公开(公告)日:2023-01-17

    申请号:CN201910450808.2

    申请日:2019-05-28

    Applicant: 北京大学

    Abstract: 本发明为一种基于深度学习神经网络的环路滤波方法,利用了视频编码中块划分树的信息,进一步提升视频恢复质量。与传统的视频编码器内采用了手工设计的去块效应模块以及样点自适应补偿模块不同,本发明利用了深度卷积神经网络在大量训练数据集上进行学习,从而更准确地学习到从低质量视频到高质量视频的非线性映射。本发明为块与块间增加了连接,从而可以传递未被压缩的特征信息。此外,本发明还利用了视频编码器提供的块划分树中的多层块划分信息,生成多层编码单元均值图,进一步辅助神经网络更好地消除块效应。

    一种人机协同的视频编码方法及视频编码系统

    公开(公告)号:CN113132732B

    公开(公告)日:2022-07-29

    申请号:CN201911408329.0

    申请日:2019-12-31

    Applicant: 北京大学

    Abstract: 本发明公开了一种人机协同的视频编码方法及视频编码系统。本方法为:1)对于一段待编码视频以及对应的关键点序列,编码器首先对关键点序列进行编码压缩,形成关键点序列码流;然后从待编码视频中选取一帧并编码,作为参考帧,形成参考帧码流;根据关键点序列和参考帧生成一预测视频;2)降低该待编码视频的分辨率;计算该真实低分率视频与预测视频信号之间的残差,根据各帧的残差组成一残差视频序列并将其编码成残差码流;3)编码器根据需求将码流选择性的传输到解码器;如果为机器视觉任务,则根据关键点码流重建得到关键点序列;如果需要重建视频序列,则根据三码流重建得到原分辨率视频。本发明根据应用需求,提供可伸缩的视频编码。

    一种图像编解码方法及装置

    公开(公告)号:CN114554205A

    公开(公告)日:2022-05-27

    申请号:CN202011353900.6

    申请日:2020-11-26

    Abstract: 提供一种图像编解码方法及装置,涉及图像编解码技术领域,能够减少神经网络的参数,能够降低图像编解码的算力消耗。该方法包括:使用第一分析网络对目标图像进行第一去相关变换,得到目标图像的第一特征图;且使用第二分析网络对第一特征图进行第二去相关变换,得到目标图像的第二特征图;然后基于第二特征图的第二概率直方图对第二特征图进行熵编码,获得目标图像的第二码流;并基于第二特征图的第二概率直方图和第二码流,获得目标图像的第二重建图;将第二重建图作为先验信息,使用第一概率预测网络对第一特征图进行概率预测,获得第一概率直方图;以及基于第一特征图的第一概率直方图对第一特征图进行熵编码,获得目标图像的第一码流。

    一种深度特征压缩方法
    18.
    发明公开

    公开(公告)号:CN113537456A

    公开(公告)日:2021-10-22

    申请号:CN202110660867.X

    申请日:2021-06-15

    Applicant: 北京大学

    Abstract: 本发明公开了一种深度特征压缩方法,本发明构建并训练一压缩模型,该模型首先对神经网络提取的图像特征表示进行变换,产生变换后的紧凑表示,提取变换后的表示的超先验码流;超先验码流用于产生码本各个基元素的线性组合系数;码本从特征中学习获得;根据线性组合系数和对应的码本产生超先验概率估计,从而使用熵编码器进行熵编码,产生码流;码流通过熵解码和解码变换产生输出的特征表示。本发明能够对深度特征进行有效压缩,而且能够对多个任务特征进行协同压缩,重建时,对特征进行分离操作,分别产生对应不同任务的重建特征;本发明还能够支持训练时未见的新任务。

    视频超分辨率处理方法及装置

    公开(公告)号:CN109862370A

    公开(公告)日:2019-06-07

    申请号:CN201711242841.3

    申请日:2017-11-30

    Abstract: 本发明提供一种视频超分辨率处理方法及装置,通过获取视频的每一帧图像,将图像输入卷积神经网络;通过卷积神经网络对图像依次进行特征提取、特征降维、非线性映射以及向高维空间映射,获得超分辨率特征;并根据特征提取所得特征以及超分辨率特征进行重建,得到超分辨率图像;最后编码形成超分辨率视频码流。通过卷积神经网络实现对视频的超分辨率处理,通过特征降维、非线性映射以及向高维空间映射,减少计算复杂度,降低时间复杂度,并采用跳跃连接,降低网络的学习难度,保留输出图像的复杂纹理,从而在保证视频处理需要的实时性的同时,实现了较高的重建质量,在视频实时传输和压缩、视频修复等领域具有非常广阔的应用前景。

    视频动作检测方法及装置
    20.
    发明公开

    公开(公告)号:CN108573197A

    公开(公告)日:2018-09-25

    申请号:CN201710146933.5

    申请日:2017-03-13

    Abstract: 本发明提供一种视频动作检测方法及装置,其中方法包括:从训练集中选取训练视频,获取训练视频中每一帧图像的骨架数据以及对图像中动作的识别结果和预测结果;利用神经网络对每一帧图像的骨架数据进行处理,获取每一帧图像的识别信息和预测信息;根据所述识别信息与识别结果、以及所述预测信息与预测结果,对神经网络进行优化;重复上述步骤,直至神经网络收敛;在神经网络收敛后,利用神经网络对待测视频中每帧图像的骨架数据进行处理,得到相应的识别信息和预测信息。本发明提供的视频动作检测方法及装置,能够对视频中每一帧图像进行识别,无需手动提取视频片段,提高了检测效率和准确性。

Patent Agency Ranking