-
公开(公告)号:CN115866252A
公开(公告)日:2023-03-28
申请号:CN202310087275.2
申请日:2023-02-09
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: H04N19/132 , H04N19/124 , H04N19/80 , H04N19/91
Abstract: 本申请公开了一种图像压缩方法、装置、设备及存储介质,涉及图像压缩领域,包括:对紧凑特征进行多速率通道采样以及相应的滤波和多速率空间采样并对得到的初始特征集进行量化;基于当前概率对量化后特征集中的当前特征进行熵编码得到二进制码流,再进行熵解码得到潜在特征;将下一个特征作为新的当前特征并基于先验预测器确定的与潜在特征对应的方差和均值对当前特征进行估计得到新的当前概率,然后跳转至基于当前概率对量化后特征集中的当前特征进行熵编码的步骤,直至所有特征均进行过熵编码;基于所有二进制码流确定图像压缩结果。本申请利用多速率通道采样和空间采样对熵编码的计算量和参数量进行精简,利用先验预测器实现更精准的概率估计。
-
公开(公告)号:CN114581544A
公开(公告)日:2022-06-03
申请号:CN202210496064.X
申请日:2022-05-09
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本申请实施例公开了一种图像压缩方法、计算机设备及计算机存储介质,编码端码率控制模块可对权重因子映射为码率控制向量,并将码率控制向量与稀疏特征图相乘,得到指定码率的潜在特征表示,量化单元将指定码率的潜在特征表示中的浮点数量化为整数,得到整数型潜在特征表示,无损编码模块对整数型潜在特征表示进行熵编码,得到二进制码流,因此,只需要训练一个目标神经网络图像压缩模型,且只需调节权重因子即可实现对图像的压缩率、码率和重建质量的任意调节,从而无需训练多个图像压缩模型,计算机设备也无需部署多个图像压缩模型,大大减少了用户设备的硬件存储开销。稀疏特征图的元素个数大大减少,可减少后续模块的计算量,节约计算资源。
-
公开(公告)号:CN115914630B
公开(公告)日:2023-05-30
申请号:CN202310016678.8
申请日:2023-01-06
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: H04N19/124 , H04N19/42 , H04N19/44 , G06N3/04 , G06N3/08 , G06V10/44 , G06V10/764 , G06V10/82
-
公开(公告)号:CN115834890A
公开(公告)日:2023-03-21
申请号:CN202310082419.5
申请日:2023-02-08
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: H04N19/146 , H04N19/147 , G06T9/00 , G06N3/045 , G06N3/048
Abstract: 本申请公开了一种图像压缩方法、装置、设备及存储介质,涉及图像处理技术领域,包括:基于预设图像码率对原始图像的像素坐标进行编码得到若干编码信号;根据图像码率对编码信号进行分组得到若干分组信号;利用预设多层感知机网络对分组信号进行处理得到若干第一目标信号,并利用点乘运算对第一目标信号进行处理得到点乘后信号;利用预设多层感知机网络对点乘后信号进行处理以得到与图像RGB值对应的第二目标信号;基于预设损失函数和第二目标信号对预设神经网络进行训练得到训练后网络参数,并基于训练后网络参数生成图像压缩结果。由此可见,本申请可以通过隐式神经得到与预设图像码率对应的信号,能很好适应设备硬件的性能并提升了传输效率。
-
公开(公告)号:CN114998457A
公开(公告)日:2022-09-02
申请号:CN202210915500.2
申请日:2022-08-01
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本申请实施例公开了一种图像压缩方法、图像解压方法及相关设备、可读存储介质,用于拟合低中高频率的信息,提高图片压缩的率失真性能。本申请实施例方法包括:获得待压缩图像中每个像素点在空间域的二维坐标向量,将待压缩图像及二维坐标向量输入多层感知机中的输入层,得到输入层输出的每个像素点在频域中各个频率的多维向量,将像素点的多维向量输入多层感知机中级联的N个隐藏层,由N个隐藏层对多维向量的全局特征及局部特征进行级联处理后,得到第N级隐藏层输出的第N综合特征向量,将像素点的第N综合特征向量输入多层感知机中的输出层,由输出层输出像素点对应的压缩后像素值,根据每个像素点对应的压缩后像素值,获得压缩后的目标图像。
-
公开(公告)号:CN119906827A
公开(公告)日:2025-04-29
申请号:CN202510020886.4
申请日:2025-01-06
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: H04N19/42 , H04N19/124 , G06T9/00 , H04N19/17
Abstract: 本发明公开一种多模态引导的高保真度图像压缩方法、系统及介质,本发明首先通过预训练好的文本编码器和音频编码器提取与图像特征对齐的文本和音频特征,然后将它们与图像特征输入到多模态特征融合模块中进行融合。该多模态特征融合模块利用仿射变换的方法从空间和通道两个维度提取并融合多模态特征。通过在编码器端使用多模态特征融合方式进行引导,不仅增强了特征的提取和表达能力,还可以更好地预测潜在特征的分布。此外,本发明设计了鉴别器以进行多模态引导的生成对抗训练,从而获得高保真度的图像。
-
公开(公告)号:CN117278757A
公开(公告)日:2023-12-22
申请号:CN202311165812.7
申请日:2023-09-11
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: H04N19/42 , H04N19/124 , H04N19/91 , H04N19/169 , H04N19/63
Abstract: 本发明提供一种基于频率分解的可解释神经网络图像压缩方法、系统及存储介质,可解释神经网络图像压缩方法包括:对图像进行编码:将原始图像输入整体编码器得到特征图,将特征图输入通道维类小波变换模块进行频率分解,得到多个子带,用独立的子带编解码器对各子带单独进行特征提取和压缩,将经量化单元和熵模型后的各子带无损编码为码流输出到对应的子带解码器;对图像的潜在表示进行解码:接收端接收并解码潜在表示,经对应的子带解码器得到每个子带对应频率成分的重构信息,通过通道维类小波逆变换合成为一个特征图,经解码器解码后得到重建图像。本发明的有益效果是:能够帮助网络获得更丰富的频率信息,弥补深度网络高频信息学习困难的问题。
-
公开(公告)号:CN114598886B
公开(公告)日:2022-09-13
申请号:CN202210496086.6
申请日:2022-05-09
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明实施例公开了一种图像编码的方法、解码的方法及相关装置,用于提升端到端压缩方法的性能。本发明实施例方法包括:将待压缩的第一图像输入至载波生成器,得到对应于第一图像的一级低频载波信号,其中,载波生成器包括神经网络,以使得一级低频载波信号的频率范围适应于神经网络的频率学习范围;利用一级低频载波信号对第一图像进行调制,以将第一图像的频率调制至适合所述神经网络学习的频率范围,得到调制后的图像信号;将调制后的图像信号输入至下采样卷积神经网络,以对调制后的图像信号的图像特征进行特征压缩,得到一级压缩后的第二图像信号;对第二图像信号执行无损编码,以得到编码后的码流。
-
公开(公告)号:CN117082264A
公开(公告)日:2023-11-17
申请号:CN202311000735.X
申请日:2023-08-09
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: H04N19/91 , H04N19/124 , G06T9/00 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/094
Abstract: 本发明提供了一种基于复数神经网络的多分辨率交叉熵编解码方法、系统及存储介质,该多分辨率交叉熵编解码方法包括步骤S101:输入的图像x经过多级复数特征提取单元之后,得到一个复数值高分辨率潜在表示y;步骤S102:步骤1得到的复数值高分辨率潜在表示y通过量化单元Q进行离散化得到#imgabs0#步骤S103:将复数值潜在y逐步输入到多级超编码器,得到不同分辨率的复数值潜在表示y1、y2,后面一级的超编码器输出的潜在表示是对前一级更高层次的特征抽象;步骤S104:将所述步骤S103得到的低分辨率的复数值潜在表示y2经过量化后得到#imgabs1#对应得到实部和虚部分别为#imgabs2#和#imgabs3#本发明的有益效果是:在保证压缩性能的同时提高熵模型对对抗样本的鲁棒性。
-
公开(公告)号:CN115866252B
公开(公告)日:2023-05-02
申请号:CN202310087275.2
申请日:2023-02-09
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: H04N19/132 , H04N19/124 , H04N19/80 , H04N19/91
Abstract: 本申请公开了一种图像压缩方法、装置、设备及存储介质,涉及图像压缩领域,包括:对紧凑特征进行多速率通道采样以及相应的滤波和多速率空间采样并对得到的初始特征集进行量化;基于当前概率对量化后特征集中的当前特征进行熵编码得到二进制码流,再进行熵解码得到潜在特征;将下一个特征作为新的当前特征并基于先验预测器确定的与潜在特征对应的方差和均值对当前特征进行估计得到新的当前概率,然后跳转至基于当前概率对量化后特征集中的当前特征进行熵编码的步骤,直至所有特征均进行过熵编码;基于所有二进制码流确定图像压缩结果。本申请利用多速率通道采样和空间采样对熵编码的计算量和参数量进行精简,利用先验预测器实现更精准的概率估计。
-
-
-
-
-
-
-
-
-