一种视频编码、解码方法及视频编码帧内预测器

    公开(公告)号:CN110677644A

    公开(公告)日:2020-01-10

    申请号:CN201810713756.9

    申请日:2018-07-03

    Applicant: 北京大学

    Abstract: 本发明公开一种视频编码、解码方法及视频编码帧内预测器。本发明的预测器包括一循环神经网络,所述循环神经网络用于生成待编码块的预测值;其中,所述循环神经网络利用待编码块的参考块的像素值均值对该待编码块进行填充,产生一图像;然后将该图像映射到特征空间,并提取该图像的局部特征;然后利用所述局部特征对该待编码块的预测块进行填充,得到该待编码块的预测值。本发明通过块级参考像素的选取和端到端的预测方法提高了编码效率,增强了现有视频编码器的编码性能。

    分辨率的处理方法及装置

    公开(公告)号:CN109862299A

    公开(公告)日:2019-06-07

    申请号:CN201711236795.6

    申请日:2017-11-30

    Abstract: 本申请提供一种分辨率的处理方法及装置,该方法包括:获取待处理的目标低分辨率视频数据,采用训练好的目标时空循环残差卷积网络将目标低分辨率视频数据转换成目标高分辨率视频数据。实现了端对端地学习如何对帧内和帧间相关性同时进行建模,采用联合空间-时间残差学习方式,预测高清视频的时间残差,促进对空间残差和视频帧的预测。通过嵌入时间残差预测,能够对高分辨率视频多帧之间的运动上下文进行隐含建模,同时具有较低的计算复杂度。

    进行自适应窗口拓展的自回归插值方法及装置

    公开(公告)号:CN106558024B

    公开(公告)日:2019-02-01

    申请号:CN201510628519.9

    申请日:2015-09-28

    Abstract: 本发明公开一种进行自适应窗口拓展的自回归插值方法及装置,能够提升基于自回归模型的插值方法的插值效果。所述方法包括:对于第一图像中的每一个高分辨率像素点,基于该像素点的等照度线进行自适应窗口拓展,得到目标插值窗口;对于每一个目标插值窗口,基于块测地距计算该目标插值窗口中中心像素点与其它每一个像素点之间的相似性概率,根据相似性概率,通过使用带权重的岭回归对待构建的自回归模型的参数进行预测,在该目标插值窗口中构建自回归模型;对于所述每一个高分辨率像素点,求解该像素点所对应的自回归模型,得到对该像素点插值后的像素点灰度值;利用灰度值所对应的像素点替换第一图像中相应的高分辨率像素点,得到第二图像。

    基于构件分解的视频人脸幻构方法及装置

    公开(公告)号:CN106558018A

    公开(公告)日:2017-04-05

    申请号:CN201510621555.2

    申请日:2015-09-25

    CPC classification number: G06T3/4053

    Abstract: 本发明公开一种基于构件分解的视频人脸幻构方法及装置,能够提高低分辨率人脸视频的人脸幻构的性能。所述方法包括:对于待进行人脸幻构的低分辨率人脸视频的每一帧图像,将该帧图像中的人脸部分按照人脸结构进行分解,并将分解得到的各个人脸部分分割成图像块;对于分割得到的每一个图像块,从预设的图像块库中获取该图像块的预设数量个最近邻图像块;对于所述低分辨率人脸视频的每一帧图像,利用所述最近邻图像块,采用基于局部约束的邻域嵌入的方法重建该帧图像分割得到的所述图像块,得到高分辨率图像块,通过将所述高分辨率图像块合并得到目标高分辨率图像;将各个目标高分辨率图像进行合并,得到目标高分辨率人脸视频。

    一种基于记忆增强的视频去雨方法与装置

    公开(公告)号:CN112651898B

    公开(公告)日:2023-04-07

    申请号:CN202110034912.0

    申请日:2021-01-12

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于记忆增强的视频去雨方法与装置,其步骤包括:1)将卷积长短期记忆网络的内部状态作为全局长期记忆;对于待去雨处理的目标视频,将该目标视频的前n帧分别输入记忆增强去雨网络,获得各帧对应的去雨结果;2)对于该目标视频的第n帧之后的每一帧,执行步骤a)~c),获得该目标视频对应的去雨视频:a)将当前待去雨帧的前多帧的去雨结果、全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨,得到当前帧的去雨结果;b)计算当前待去雨帧与其去雨结果之间的差值,作为当前待去雨帧的雨痕图;c)将雨痕图输入卷积长短期记忆网络,更新该卷积长短期记忆网络的内部状态作为新的全局长期记忆。

    一种基于敏感度的码率分配特征压缩方法

    公开(公告)号:CN114363624B

    公开(公告)日:2023-03-31

    申请号:CN202011090817.4

    申请日:2020-10-13

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于敏感度的码率分配特征压缩方法,其步骤包括:1)将图像的神经网络中间层特征输入深层神经网络进行计算,得到无损网络输出;2)对于所述神经网络中间层特征的每一单通道i,进行如下处理:为单通道i对应的特征施加编码噪声,得到该单通道i的加噪特征;然后将单通道i的加噪特征输入深层神经网络进行计算,得到单通道i的加噪输出;然后计算单通道i的加噪输出与所述无损网络输出的差值,作为单通道i的编码噪声敏感度;3)根据各单通道的编码噪声敏感度进行码率分配,为每个单通道分配压缩质量参数;4)根据各单通道分配所得的压缩质量参数,对量化后的所述神经网络中间层特征进行压缩,得到中间层特征压缩码流。

    基于深度学习神经网络的环路滤波方法

    公开(公告)号:CN112019854B

    公开(公告)日:2023-01-17

    申请号:CN201910450808.2

    申请日:2019-05-28

    Applicant: 北京大学

    Abstract: 本发明为一种基于深度学习神经网络的环路滤波方法,利用了视频编码中块划分树的信息,进一步提升视频恢复质量。与传统的视频编码器内采用了手工设计的去块效应模块以及样点自适应补偿模块不同,本发明利用了深度卷积神经网络在大量训练数据集上进行学习,从而更准确地学习到从低质量视频到高质量视频的非线性映射。本发明为块与块间增加了连接,从而可以传递未被压缩的特征信息。此外,本发明还利用了视频编码器提供的块划分树中的多层块划分信息,生成多层编码单元均值图,进一步辅助神经网络更好地消除块效应。

    一种基于多特征融合的低光照人脸检测方法及低光照人脸检测网络

    公开(公告)号:CN112446247B

    公开(公告)日:2022-11-15

    申请号:CN201910813847.4

    申请日:2019-08-30

    Applicant: 北京大学

    Abstract: 本发明公开了一种基于多特征融合的低光照人脸检测方法及低光照人脸检测网络。本方法为:1)对于一待处理的低光照图片x,使用提亮分支的编码器来对其进行降采样操作,提取不同尺度卷积层的输出作为该图片x的多尺度特征Fx',再使用提亮分支的解码器利用多尺度特征Fx'重建出一张提亮后的图片2)使用特征提取网络提取该图片的多尺度特征3)使用空洞卷积层分别对所述多尺度特征Fx'和多尺度特征进行增强,分别得到Fx和并将Fx和融合得到特征Fc,根据特征Fc预测得到图片x中的人脸区域包围框和对应置信度。本发明大大优化了低光照领域的人脸检测结果。

    一种极低码率人机协同图像编码训练方法及编解码方法

    公开(公告)号:CN113949880B

    公开(公告)日:2022-10-14

    申请号:CN202111026165.2

    申请日:2021-09-02

    Applicant: 北京大学

    Abstract: 本发明公开了一种极低码率人机协同图像编码训练方法及编解码方法。本方法为:1)利用训练集训练得到一个生成模型;2)对该训练集中的每一图像Ij进行特征提取和流形映射,得到Ij的流形特征;3)使用超先验模型对流形特征构建码率约束和编解码,得到二进制码流和重建后的流形特征;4)根据码率约束对Ij进行紧致损失函数计算;5)对重建后的流形特征进行人眼视觉映射并输入到生成模型中,根据所得人眼视觉重建结果进行损失函数计算;6)将重建后的流形特征输入到机器视觉模型中,根据所得机器视觉预测结果进行损失函数计算;7)将各损失进行加和更新权值;8)重复2)‑7)直到神经网络的损失收敛,得到极低码率人机协同图像编码器。

    一种人机协同的视频编码方法及视频编码系统

    公开(公告)号:CN113132732B

    公开(公告)日:2022-07-29

    申请号:CN201911408329.0

    申请日:2019-12-31

    Applicant: 北京大学

    Abstract: 本发明公开了一种人机协同的视频编码方法及视频编码系统。本方法为:1)对于一段待编码视频以及对应的关键点序列,编码器首先对关键点序列进行编码压缩,形成关键点序列码流;然后从待编码视频中选取一帧并编码,作为参考帧,形成参考帧码流;根据关键点序列和参考帧生成一预测视频;2)降低该待编码视频的分辨率;计算该真实低分率视频与预测视频信号之间的残差,根据各帧的残差组成一残差视频序列并将其编码成残差码流;3)编码器根据需求将码流选择性的传输到解码器;如果为机器视觉任务,则根据关键点码流重建得到关键点序列;如果需要重建视频序列,则根据三码流重建得到原分辨率视频。本发明根据应用需求,提供可伸缩的视频编码。

Patent Agency Ranking