-
公开(公告)号:CN111898638B
公开(公告)日:2022-12-02
申请号:CN202010604780.6
申请日:2020-06-29
Applicant: 北京大学
IPC: G06V10/80 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本申请提供一种融合不同视觉任务的图像处理方法、装置、电子设备及介质。方法包括:根据待处理图像的视觉任务类型,提取出图像中针对视觉任务类型的先验知识;利用基础压缩模型对图像进行压缩,得到第一部分码流和残差数据;对残差数据进行预处理;根据先验知识调整预处理后的残差数据,得到目标残差数据,并利用残差压缩模型对目标残差数据进行压缩,得到第二部分码流;对第一部分码流和第二部分码流分别解码再相加,得到输出图像。本方案中,通过一个先验知识来修改图像残差的分布,来实现调整码率分配的目的,给视觉任务关注的区域提供更高质量的编码,最终使得压缩后的图像在不额外消耗码字的情况下,在视觉任务中获得了更高的准确率。
-
公开(公告)号:CN110378466B
公开(公告)日:2021-10-08
申请号:CN201910478617.7
申请日:2019-06-03
Applicant: 北京大学
Abstract: 本发明涉及数字信号处理领域,特别涉及一种基于神经网络差分的量化方法及系统。具体包括:训练网络模型,将网络模型进行初始化;将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量;对网络模型的训练参数表达形式的改变量进行聚类量化处理,得到对应的网络模型紧凑表达形式。本发明解决预训练模型存在的条件下,如何在低比特量化的情况下尽可能提升神经网络模型的性能。
-
公开(公告)号:CN111918071A
公开(公告)日:2020-11-10
申请号:CN202010604773.6
申请日:2020-06-29
Applicant: 北京大学
Abstract: 本发明公开了一种数据压缩的方法、装置、设备及存储介质,包括:将数据从高语义冗余的域压缩到低语义冗余的域,得到以自然语义形式表述的压缩数据,对所述压缩数据进行有损编码或无损编码,得到编码后的压缩数据,对所述编码后的压缩数据进行解码,得到可用自然语义形式表述的低语义冗余数据,对所述可用自然语义形式表述的低语义冗余数据进行解压,得到高语义冗余数据。本发明公开的数据压缩方法,将高语义冗余的数据压缩到低语义冗余的数据,不仅实现数据的压缩,而且重点优化数据的语义层面的保真,得到的压缩数据是以自然语义形式表述的人可以理解的数据,可以面向一个或多个机器分析任务,还可以应用于语义监控的场景中。
-
公开(公告)号:CN111405283A
公开(公告)日:2020-07-10
申请号:CN202010104772.5
申请日:2020-02-20
Applicant: 北京大学
IPC: H04N19/147 , H04N19/159 , H04N19/177 , H04N19/21 , H04N19/82
Abstract: 本申请实施例中提供了一种基于深度学习的端到端视频压缩方法、系统及存储介质,本申请的基于深度学习的端到端视频压缩方法通过将目标视频分为多个图像组;然后对图像组中的关键帧进行端到端帧内编码得到关键帧编码;关键帧编码通过环路滤波网络进行重建后得到关键帧重建帧;其次,基于关键帧重建帧对图像组中的非关键帧进行端到端帧间编码得到非关键帧编码;最后,非关键帧编码通过环路滤波网络进行重建后得到非关键帧重建帧。本申请采用与传统采用的视频压缩编码器相比,可以实现端到端全局优化视频编码器,在低码率下能够取得较好的编码性能。解决了如何利用深度神经网络实现端到端视频编码的同时保证较好的率失真性能的问题。
-
公开(公告)号:CN108289224B
公开(公告)日:2019-10-29
申请号:CN201711315513.1
申请日:2017-12-12
Applicant: 北京大学
IPC: H04N19/51 , H04N19/176 , H04N19/70 , H04N19/146 , H04N19/147 , G06N3/04
Abstract: 本发明公开了一种视频帧预测方法、装置及自动补偿神经网络。所述方法包括:步骤1:确定用于对当前编码块进行编码或对当前解码块进行解码的预测块集合,所述预测块集合包括至少两个预测块;步骤2:基于所述预测块集合和经训练的自动补偿神经网络来获取当前编码块或解码块的补偿块。能够降低视频帧预测的误差,提高压缩率。
-
公开(公告)号:CN111901592B
公开(公告)日:2023-01-17
申请号:CN202010613236.8
申请日:2020-06-30
Applicant: 北京大学
IPC: H04N19/107 , H04N19/124 , H04N19/176 , H04N19/186 , G06N3/08
Abstract: 本申请公开了一种预测编码神经网络权重更新方法、装置及介质。本申请适用于基于神经网络的预测编码工具,包括帧内预测、帧间预测、以及预测后的增强等。由于视频前后帧存在的连续性,导致已编码帧与待处理帧在场景、纹理、内容的分布上存在着极高的相似性,因此在已编码数据中挖掘相关信息来调整网络参数可以使得神经网络定制化,十分有利于后续编码过程。另一方面,重构像素在编解码端都易获取,相比于预测像素,重构像素的客观质量更接近于原始像素,因此可以作为标签来反向微调神经网络的参数。
-
公开(公告)号:CN114067007A
公开(公告)日:2022-02-18
申请号:CN202010754067.X
申请日:2020-07-30
Abstract: 本申请公开了人工智能领域中的一种图像处理方法与装置、神经网络训练的方法与装置。该图像处理方法包括:确定待处理图像中的多个区域图像中每个区域图像对应的纹理复杂度信息;根据所述每个区域图像的纹理复杂度信息,确定所述每个区域图像对应的图像压缩模型,其中,不同的纹理复杂度信息对应不同的图像压缩模型;利用所述每个区域图像对应的压缩模型对所述每个区域图像进行压缩。该方法通过对于待处理图像中不同纹理复杂度的区域图像,使用与该区域图像纹理复杂度相对应的压缩模型进行图像的压缩,提高待处理图像的整体压缩效果。
-
公开(公告)号:CN114066914A
公开(公告)日:2022-02-18
申请号:CN202010754333.9
申请日:2020-07-30
Abstract: 本申请涉及人工智能领域,公开了一种图像处理方法,包括:获取第一图像;分割所述第一图像,获得N个第一图块;从N个第一图块中获取N个第一自适应数据,N个第一自适应数据与N个第一图块一一对应;根据N个第一自适应数据对N个第一图块进行预处理;通过编码神经网络处理预处理后的N个第一图块,得到N组第一特征图;对N组第一特征图进行量化和熵编码,以获得N个第一编码表示。本申请通过提取多个自适应信息,该多个自适应信息可用于对多个重构图块进行补偿,从而凸显局部特性,提升第二图像的图像质量。
-
公开(公告)号:CN111372084B
公开(公告)日:2021-07-20
申请号:CN202010100106.4
申请日:2020-02-18
Applicant: 北京大学
IPC: H04N19/436 , H04N19/176 , H04N19/147 , H04N19/14 , H04N19/70 , H04N19/82 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种面向神经网络编解码工具的并行推理方法,包括:对待处理的图像进行边界扩充,得到边界完整的图像;根据光栅扫描顺序将所述边界完整的图像划分成大小相同的图像块;将所述大小相同的图像块组织成若干个张量,并将所述若干个张量作为一组张量同时送入神经网络中进行前向传播处理,其中,根据神经网络编码工具以及硬件显存大小设置所述张量的批尺寸值。通过上述方法,可以有效减少神经网络推理时的显存,降低神经网络视频编码工具的编解码复杂度。
-
公开(公告)号:CN111901592A
公开(公告)日:2020-11-06
申请号:CN202010613236.8
申请日:2020-06-30
Applicant: 北京大学
IPC: H04N19/107 , H04N19/124 , H04N19/176 , H04N19/186 , G06N3/08
Abstract: 本申请公开了一种预测编码神经网络权重更新方法、装置及介质。本申请适用于基于神经网络的预测编码工具,包括帧内预测、帧间预测、以及预测后的增强等。由于视频前后帧存在的连续性,导致已编码帧与待处理帧在场景、纹理、内容的分布上存在着极高的相似性,因此在已编码数据中挖掘相关信息来调整网络参数可以使得神经网络定制化,十分有利于后续编码过程。另一方面,重构像素在编解码端都易获取,相比于预测像素,重构像素的客观质量更接近于原始像素,因此可以作为标签来反向微调神经网络的参数。
-
-
-
-
-
-
-
-
-