-
公开(公告)号:CN119254236A
公开(公告)日:2025-01-03
申请号:CN202411291946.8
申请日:2024-09-14
Applicant: 北京大学
Abstract: 本发明公开一种基于范畴论建模的编码智能优化方法及系统,属于智能编码技术领域。该方法包括:基于编码任务,确定提取数据之间的关系集合的建模范式,并根据所述建模范式,构建编码模型;生成内容数据集,并基于编码任务需要的关系集合对内容数据集进行标注;根据编码任务下的数据放缩结构,确定压缩目标;基于所述压缩目标,在标注后的内容数据集上训练所述编码模型;使用训练后的编码模型完成所述编码任务。本发明通过引入结合模型训练与压缩优化过程,提升紧致表征下的推理性能,以提高编码性能。
-
公开(公告)号:CN118537209A
公开(公告)日:2024-08-23
申请号:CN202410188562.7
申请日:2024-02-20
Applicant: 北京大学
Abstract: 本发明公开一种基于频谱重建的文本驱动式图像翻译方法及系统,属于人工智能图像创作及编辑领域。本发明构建预训练的文生图潜扩散模型LDM、频谱滤波模块和频带控制网络,首次从频域视角以特征频谱的不同频带建模图像翻译中原始图像和目标图像之间不同的关联关系,通过不同模式的频谱滤波构建并训练不同的频带控制分支,来控制预训练模型LDM进行相应类型的图像翻译,从而实现单个模型灵活兼容不同的图像翻译应用场景。
-
公开(公告)号:CN115278249B
公开(公告)日:2024-06-28
申请号:CN202210735183.6
申请日:2022-06-27
Applicant: 北京大学
IPC: H04N19/147 , H04N19/176 , H04N19/42 , G06N3/0464 , G06N3/08
Abstract: 本发明公开一种基于视觉自注意力网络的视频块级率失真优化方法及系统,属于数字视频增强领域,将多头自注意力机制引入视频压缩后处理任务中,充分利用自注意力机制强大的建模能力学习受损帧到无损帧的映射,并构建3种基于视觉自注意力网络的后处理模型,引入多种网络架构针对不同内容进行块级率失真优化,从而高效消除视频在解码重建时产生的伪影和压缩噪声。
-
公开(公告)号:CN114554205B
公开(公告)日:2023-03-10
申请号:CN202011353900.6
申请日:2020-11-26
Abstract: 提供一种图像编解码方法及装置,涉及图像编解码技术领域,能够减少神经网络的参数,能够降低图像编解码的算力消耗。该方法包括:使用第一分析网络对目标图像进行第一去相关变换,得到目标图像的第一特征图;且使用第二分析网络对第一特征图进行第二去相关变换,得到目标图像的第二特征图;然后基于第二特征图的第二概率直方图对第二特征图进行熵编码,获得目标图像的第二码流;并基于第二特征图的第二概率直方图和第二码流,获得目标图像的第二重建图;将第二重建图作为先验信息,使用第一概率预测网络对第一特征图进行概率预测,获得第一概率直方图;以及基于第一特征图的第一概率直方图对第一特征图进行熵编码,获得目标图像的第一码流。
-
公开(公告)号:CN115240022A
公开(公告)日:2022-10-25
申请号:CN202210651629.7
申请日:2022-06-09
Applicant: 北京大学
IPC: G06V10/774 , G06V10/74 , G06V10/80 , G06V10/82 , G06T5/00
Abstract: 本发明公开了一种使用长曝光补偿的低光照图像增强方法。本方法为:1)收集低光照训练数据集,其中所述低光照训练数据集中的每一训练样本包括同一场景的低光照图像和正常光照图像;根据每一训练样本生成一组对应的短曝光图像、长曝光图像和真实光照图像,得到一合成数据集S;2)利用所述合成数据集S训练低光照增强模型,所述低光照增强模型包括M‑1个特征对齐模块和M‑1个提亮模块;3)将待提亮的短曝光图像和对应的模糊长曝光图像输入训练后的低光照增强模型,得到对应的低光照增强图像。本发明能够显著提升低光照图片增强性能。
-
公开(公告)号:CN115131844A
公开(公告)日:2022-09-30
申请号:CN202110320033.4
申请日:2021-03-25
Applicant: 北京大学
IPC: G06V40/16 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/08
Abstract: 本发明公开了一种无监督低光照人脸检测模型训练方法及检测方法。本方法为:1)收集已标注的正常光照人脸训练数据与无标注的低光照人脸训练数据,得到正常光照人脸检测训练数据集H、低光照训练数据集L;2)对低光照训练数据集L中的图像进行提亮,得到提亮后的低光照训练数据集E(L);3)获取集合E(L)中低光照人脸训练数据的噪声与色偏分布,应用于集合H中的正常光照人脸训练数据,得到降质后的正常光照人脸训练数据集D(H);4)利用集合E(L)、集合D(H)和集合H,训练人脸检测模型。对待检测的低光照人脸检测图像进行提亮后输入到训练后的低光照人脸检测模型,输出人脸检测结果。本发明能够大大提升人脸检测性能。
-
公开(公告)号:CN112069769B
公开(公告)日:2022-07-26
申请号:CN201910440039.8
申请日:2019-05-24
Applicant: 北京大学
IPC: G06F40/109
Abstract: 本发明提出一种针对特效字的智能字效迁移方法及系统,该方法包括以下步骤:利用训练数据集,训练遮罩提取子网络进行装饰元素遮罩的提取,训练基础特效迁移子网络进行基础文字特效迁移;将带有装饰元素的特效字Dy和其配对字形图片Cy输入到训练好的遮罩提取子网络中,得到装饰元素遮罩My;将Dy及其配对字形图片Cy、目标字形图片Cx输入到训练好的基础特效迁移子网络中,得到基础特效迁移和装饰元素消除的结果Sx;利用My,Cy和Cx进行元素重组,将装饰元素融合在Sx上,得到目标字形对应的迁移后的带有装饰元素的特效字Dx。本方法能够在迁移文字特效的同时迁移其装饰元素,且不会导致装饰元素的丢失和扭曲。
-
公开(公告)号:CN114363624A
公开(公告)日:2022-04-15
申请号:CN202011090817.4
申请日:2020-10-13
Applicant: 北京大学
Abstract: 本发明公开了一种基于敏感度的码率分配特征压缩方法,其步骤包括:1)将图像的神经网络中间层特征输入深层神经网络进行计算,得到无损网络输出;2)对于所述神经网络中间层特征的每一单通道i,进行如下处理:为单通道i对应的特征施加编码噪声,得到该单通道i的加噪特征;然后将单通道i的加噪特征输入深层神经网络进行计算,得到单通道i的加噪输出;然后计算单通道i的加噪输出与所述无损网络输出的差值,作为单通道i的编码噪声敏感度;3)根据各单通道的编码噪声敏感度进行码率分配,为每个单通道分配压缩质量参数;4)根据各单通道分配所得的压缩质量参数,对量化后的所述神经网络中间层特征进行压缩,得到中间层特征压缩码流。
-
公开(公告)号:CN110677644B
公开(公告)日:2021-11-16
申请号:CN201810713756.9
申请日:2018-07-03
Applicant: 北京大学
IPC: H04N19/103 , H04N19/176 , H04N19/573 , H04N19/70
Abstract: 本发明公开一种视频编码、解码方法及视频编码帧内预测器。本发明的预测器包括一循环神经网络,所述循环神经网络用于生成待编码块的预测值;其中,所述循环神经网络利用待编码块的参考块的像素值均值对该待编码块进行填充,产生一图像;然后将该图像映射到特征空间,并提取该图像的局部特征;然后利用所述局部特征对该待编码块的预测块进行填充,得到该待编码块的预测值。本发明通过块级参考像素的选取和端到端的预测方法提高了编码效率,增强了现有视频编码器的编码性能。
-
公开(公告)号:CN113132732A
公开(公告)日:2021-07-16
申请号:CN201911408329.0
申请日:2019-12-31
Applicant: 北京大学
IPC: H04N19/187 , H04N19/30 , H04N19/44 , H04N19/146 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种人机协同的视频编码方法及视频编码系统。本方法为:1)对于一段待编码视频以及对应的关键点序列,编码器首先对关键点序列进行编码压缩,形成关键点序列码流;然后从待编码视频中选取一帧并编码,作为参考帧,形成参考帧码流;根据关键点序列和参考帧生成一预测视频;2)降低该待编码视频的分辨率;计算该真实低分率视频与预测视频信号之间的残差,根据各帧的残差组成一残差视频序列并将其编码成残差码流;3)编码器根据需求将码流选择性的传输到解码器;如果为机器视觉任务,则根据关键点码流重建得到关键点序列;如果需要重建视频序列,则根据三码流重建得到原分辨率视频。本发明根据应用需求,提供可伸缩的视频编码。
-
-
-
-
-
-
-
-
-