基于帧预测神经网络的多描述视频编码方法和解码方法

    公开(公告)号:CN113038126A

    公开(公告)日:2021-06-25

    申请号:CN202110261181.3

    申请日:2021-03-10

    Applicant: 华侨大学

    Abstract: 基于帧预测神经网络的多描述视频编码方法和解码方法,本发明在编码端将源视频采用时间下采样的方法分为奇数帧和偶数帧,分别将奇数帧和偶数帧组成两个新的序列,通过HEVC编码器进行编码。针对时间下采样所导致的帧丢失问题,采用帧预测神经网络来分别预测对应序列中所丢失的帧。将预测帧与对应序列的已编码视频帧相减获得残差信息,与当前序列已编码信息组成一个描述。将两个描述的码流打包分别通过不同的信道传输到解码端。本发明方法构成的多描述视频编码使码流具有一定的差错恢复能力,解码端可充分利用描述间的相关信息保证解码端在不可靠网络传输下的高质量视频重建。

    一种基于结构相似度的生成对抗网络的红外图像着色方法

    公开(公告)号:CN112365559A

    公开(公告)日:2021-02-12

    申请号:CN202011305117.2

    申请日:2020-11-19

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于结构相似度的生成对抗网络的红外图像着色方法,构造一个基于结构相似度的生成对抗网络,包括生成器和鉴别器;鉴别器能够区别图像是来自红外图像域或是来自彩色图像域,对生成器采用基于生成对抗网络的损失函数、基于一范或二范的循环一致损失函数和重构损失函数、基于结构相似度的损失函数,使生成器能够生成色彩逼真且边缘清晰的彩色图像;利用预先采集的红外图像和彩色图像将所提出的基于结构相似度的生成对抗网络训练到收敛条件,所获得的生成器即可实现对红外图像的着色。本发明不仅能保留红外成像在夜间拍摄的优势,也能利于人眼能够更好更快的捕捉到图像中的有用信息,充分发挥图像价值,从而促进夜视成像技术的发展。

    一种基于时空对抗生成网络的视频行为识别方法

    公开(公告)号:CN110390308A

    公开(公告)日:2019-10-29

    申请号:CN201910682423.9

    申请日:2019-07-26

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于时空对抗生成网络的视频行为识别方法,包括:基于空域对抗生成网络提取输入的包含人类行为的视频的空间特征,基于时域对抗生成网络提取输入的包含人类行为的视频的时间特征,将空间对抗生成网络和时间对抗生成网络提取的两个维度特征进行拼接,得到时空融合特征,通过SVM支持向量机对融合后的特征向量进行分类,从而识别出视频行为。本发明基于时空生成对抗网络,充分考虑其学习特性、视频特点和人类动作特征,有效地结合人类行为特征提取视频中所包含的主要时空特征信息进行融合,基于时空特征信息之间的互补性获得更有表征能力的时空特征,从而对输入视频做出准确的行为识别。

    一种针对3D-HEVC深度图帧内预测编码的快速优化方法

    公开(公告)号:CN107105297B

    公开(公告)日:2019-08-30

    申请号:CN201710357483.4

    申请日:2017-05-19

    Applicant: 华侨大学

    Abstract: 本发明公开了一种针对3D‑HEVC深度图帧内预测编码的快速优化方法,包括:对当前编码块CU计算其像素方差以及对角像素差的绝对值之和,根据当前编码块的方差以及对角像素差值的绝对值之和设定阈值,通过阈值比较,判定是否提前终止当前CU的深度划分;根据当前预测块PU外圈像素差的绝对值之和,设定阈值,通过阈值比较当前预测块PU是否属于平滑类型,从而跳过SDC编码,进一步降低计算复杂度。本发明能够在保持3D‑HEVC编码效率的前提下,有效地降低深度图帧内预测编码计算复杂度。

    基于多分支循环卷积神经网络的HEVC帧间快速方法

    公开(公告)号:CN109982092A

    公开(公告)日:2019-07-05

    申请号:CN201910349667.5

    申请日:2019-04-28

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于多分支循环卷积神经网络的HEVC帧间快速方法,属于视频编码领域,方法包括:首先使用多分支卷积神经网络,对每个CTU进行预处理,并分别作为不同分支的卷积神经网络的输入,经过卷积计算之后,将得到的特征进行全连接,分为三个分支输出特征向量,再利用循环神经网络将特征向量和上一时刻的状态向量进行处理,并加入不同QP值的考量,最终输出三个分支的分类结果,三个分支分别对应每个CTU中深度等级0、1或2,判断三个深度等级的CU是否继续划分或者停止划分。本发明一种基于多分支循环卷积神经网络的HEVC帧间快速方法能够减少编码器计算开销,在保持编码性能基本不变的情况下,减少编码时间。

    基于相位一致性的全参考彩色屏幕图像质量评估方法

    公开(公告)号:CN106504230B

    公开(公告)日:2019-02-26

    申请号:CN201610886339.5

    申请日:2016-10-11

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于相位一致性的全参考彩色屏幕图像质量评估方法,属于图像处理领域,根据人类视觉系统理解图像时对结构信息的依赖性和屏幕图像包含丰富边缘结构信息的特征提出,方法包括:对参考屏幕图像和失真屏幕图像从RGB色彩空间转化为CIELAB对色空间;分别提取参考屏幕图像亮度分量和失真屏幕图像亮度分量的相位一致性特征图;结合相位一致性、黄蓝对比色度分量和红绿对比色度分量计算局部图像质量图;将局部图像质量图的标准差作为最终屏幕图像质量值。本发明充分利用相位一致性和色度分量的相似性来评估彩色失真屏幕图像的质量,反映人眼主观视觉系统对于屏幕图像的主观感知度,具有较好的屏幕图像质量评估性能,且计算简单。

    一种采用图形预测的三维点云压缩方法

    公开(公告)号:CN109166160A

    公开(公告)日:2019-01-08

    申请号:CN201811082243.9

    申请日:2018-09-17

    Applicant: 华侨大学

    Abstract: 本发明公开了一种采用图形预测的三维点云压缩方法,属于视频编码领域,方法包括:采用KD树对输入三维点云进行自适应分块;采用KNN算法计算编码单元内每个点的K邻近点;构建每个单元块的图并计算图形平移算子;对每个编码单元的块进行去均值,采用K-means算法对编码单元进行自适应采样,通过求解优化问题对未采样点进行预测;利用基于KD树的块均值预测算法对每个编码单元块的均值进行预测编码;最后用算术编码器对所有量化的参数和残差进行熵编码。本发明采用图形预测,能够对庞大的三维点云数据进行有效压缩,极大地改善三维点云的传输和存储效率。

Patent Agency Ranking