公开(公告)号：CN118632027A

公开(公告)日：2024-09-10

申请号：CN202411083106.2

申请日：2024-08-08

Applicant: 华侨大学

Inventor： 曾焕强 ,  张祥杰 ,  陈婧 ,  蔡磊 ,  林琦 ,  杨慰民 ,  夏至贤 ,  廖昀

IPC: H04N19/597 ,  H04N19/85 ,  H04N19/91 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08 ,  G06V10/80

Abstract: 本发明公开了一种基于图卷积网络的点云压缩方法，涉及点云压缩技术领域，包括：编码器接收原始点云，利用最远点采样实现全局均匀采样，利用图卷积网络实现局部密度采样，按比例选择全局均匀采样后的点云和局部密度采样后的点云，获得下采样后的点云，再使用边缘卷积、点变压器和注意力机制分别进行动态特征学习和融合获得融合特征；熵瓶颈层对下采样后的点云和融合特征进行压缩‑解压缩获得重建点云和重建特征；解码器基于SGFN和DenseGCN对重建点云和重建特征进行特征提取，提取到的特征通过上采样和坐标重建获得重建后的点云。本发明能够在保证相同视觉质量的前提下显著降低比特率开销，提高压缩效率。

公开(公告)号：CN118469876A

公开(公告)日：2024-08-09

申请号：CN202410912771.1

申请日：2024-07-09

Applicant: 华侨大学

Inventor： 陈婧 ,  左雨亭 ,  曾焕强 ,  朱建清 ,  施一帆 ,  林琦 ,  郑惠洁

IPC: G06T5/77 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G06T5/60

Abstract: 本发明公开了一种基于强感知Transformer架构的缺损视频修复方法及系统，涉及视频处理技术领域，方法包括以下步骤：特征提取模块接收待修复的缺损视频帧序列，采用卷积神经网络对视频帧进行特征提取，输出第一特征；强感知Transformer模块接收第一特征，采用交叉堆叠的局部感知Transformer和全局感知Transformer结构对第一特征进行纹理信息建模和结构信息建模，输出第二特征；重构模块接收第二特征，采用反卷积层进行视频帧重建，输出修复后视频帧序列。本发明采用交叉堆叠的局部感知Transformer和全局感知Transformer进行纹理信息和结构信息建模，有效解决现阶段缺损视频修复方法中存在修复区域缺乏细节纹理、全局结构与局部纹理不匹配的问题，实现更好的修复效果。

公开(公告)号：CN118379777A

公开(公告)日：2024-07-23

申请号：CN202410807403.0

申请日：2024-06-21

Applicant: 华侨大学

Inventor： 曾焕强 ,  郑航杰 ,  朱建清 ,  陈婧 ,  施一帆 ,  蔡磊 ,  林琦 ,  夏至贤

IPC: G06V40/16 ,  G06N3/0442 ,  G06N3/0475 ,  G06N3/094 ,  G06V10/774 ,  G06V10/82 ,  G06V20/40 ,  G06V40/20 ,  G10L21/10

Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统，涉及图像处理技术领域，方法包括：构建人脸视频生成模型，包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器，所述人脸视频生成模型接收人脸图像和语音音频，生成人脸说话视频；获取训练数据集并对人脸视频生成模型进行预训练；构建唇型同步判别器作为判别器，对预训练人脸视频生成模型进行生成对抗训练；利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模，并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度，同时兼顾视频的逼真度，使得其更加真实、自然，从而为各种应用场景提供了更多的灵活性。

公开(公告)号：CN117440158B

公开(公告)日：2024-04-12

申请号：CN202311759886.3

申请日：2023-12-20

Applicant: 华侨大学

Inventor： 曾焕强 ,  孔庆玮 ,  陈婧 ,  朱建清 ,  施一帆 ,  林琦 ,  郑惠洁 ,  夏至贤

IPC: H04N19/147 ,  H04N19/154

Abstract: 本发明公开了一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法，涉及视频编码领域，包括：S1，基于MIV编码平台编码沉浸式视频序列，生成图集后，计算与深度映射范围系数；S2，使用支持MIV标准的二维视频编码器编码沉浸式视频几何图集时，构建三维几何失真与均方误差的关系模型；S3，根据三维几何失真与均方误差的关系模型，计算三维几何失真系数；S4，根据三维几何失真系数，计算率失真优化模型中新的拉格朗日乘子，基于调整后的率失真优化模型编码当前CTU，以改善沉浸式视频渲染质量的率失真性能。本发明最终渲染的沉浸式视频质量与码率的率失真性能更好。

公开(公告)号：CN117422614B

公开(公告)日：2024-03-12

申请号：CN202311745925.4

申请日：2023-12-19

Applicant: 华侨大学 ,  厦门松霖科技股份有限公司

Inventor： 曾焕强 ,  朱显丞 ,  朱建清 ,  陈婧 ,  施一帆 ,  林琦 ,  陈斌 ,  陈志达 ,  卢伟 ,  夏至贤

IPC: G06T3/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/42 ,  G06V10/44

Abstract: 本发明公开了一种基于混合特征交互Transformer的单帧图像超分辨率方法及装置，涉及图像处理领域，包括：获取待重建的低分辨率图像；构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；将低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像，解决Transformer的SR方法忽略不同维度的特征之间的潜在关联性，影响重建性能的问题。

公开(公告)号：CN117422614A

公开(公告)日：2024-01-19

申请号：CN202311745925.4

申请日：2023-12-19

Applicant: 华侨大学 ,  厦门松霖科技股份有限公司

Inventor： 曾焕强 ,  朱显丞 ,  朱建清 ,  陈婧 ,  施一帆 ,  林琦 ,  陈斌 ,  陈志达 ,  卢伟 ,  夏至贤

IPC: G06T3/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/42 ,  G06V10/44

Abstract: 本发明公开了一种基于混合特征交互Transformer的单帧图像超分辨率方法及装置，涉及图像处理领域，包括：获取待重建的低分辨率图像；构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；将低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像，解决Transformer的SR方法忽略不同维度的特征之间的潜在关联性，影响重建性能的问题。

公开(公告)号：CN113038126B

公开(公告)日：2022-11-01

申请号：CN202110261181.3

申请日：2021-03-10

Applicant: 华侨大学

Inventor： 陈婧 ,  林琦 ,  曾焕强 ,  朱建清 ,  蔡灿辉

IPC: H04N19/122 ,  H04N19/124 ,  H04N19/13 ,  H04N19/184 ,  H04N19/42 ,  H04N19/625 ,  G06N3/04 ,  H04N7/01

Abstract: 基于帧预测神经网络的多描述视频编码方法和解码方法，本发明在编码端将源视频采用时间下采样的方法分为奇数帧和偶数帧，分别将奇数帧和偶数帧组成两个新的序列，通过HEVC编码器进行编码。针对时间下采样所导致的帧丢失问题，采用帧预测神经网络来分别预测对应序列中所丢失的帧。将预测帧与对应序列的已编码视频帧相减获得残差信息，与当前序列已编码信息组成一个描述。将两个描述的码流打包分别通过不同的信道传输到解码端。本发明方法构成的多描述视频编码使码流具有一定的差错恢复能力，解码端可充分利用描述间的相关信息保证解码端在不可靠网络传输下的高质量视频重建。

公开(公告)号：CN113038126A

公开(公告)日：2021-06-25

申请号：CN202110261181.3

申请日：2021-03-10

Applicant: 华侨大学

Inventor： 陈婧 ,  林琦 ,  曾焕强 ,  朱建清 ,  蔡灿辉

IPC: H04N19/122 ,  H04N19/124 ,  H04N19/13 ,  H04N19/184 ,  H04N19/42 ,  H04N19/625 ,  G06N3/04 ,  H04N7/01

Abstract: 基于帧预测神经网络的多描述视频编码方法和解码方法，本发明在编码端将源视频采用时间下采样的方法分为奇数帧和偶数帧，分别将奇数帧和偶数帧组成两个新的序列，通过HEVC编码器进行编码。针对时间下采样所导致的帧丢失问题，采用帧预测神经网络来分别预测对应序列中所丢失的帧。将预测帧与对应序列的已编码视频帧相减获得残差信息，与当前序列已编码信息组成一个描述。将两个描述的码流打包分别通过不同的信道传输到解码端。本发明方法构成的多描述视频编码使码流具有一定的差错恢复能力，解码端可充分利用描述间的相关信息保证解码端在不可靠网络传输下的高质量视频重建。

公开(公告)号：CN120075449A

公开(公告)日：2025-05-30

申请号：CN202510550540.5

申请日：2025-04-29

Applicant: 华侨大学

Inventor： 曾焕强 ,  陈丽玲 ,  朱建清 ,  陈婧 ,  施一帆 ,  蔡磊 ,  龚鑫荣 ,  林琦 ,  郑惠洁 ,  项文杰

IPC: H04N19/172 ,  H04N19/51 ,  H04N19/85 ,  H04N19/91 ,  H04N19/139 ,  H04N19/42 ,  G06V20/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G06T7/269 ,  G06T7/00 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明涉及视频压缩技术领域，公开了一种基于上下文的双目视频压缩方法，采用两个相同的通道分别逐帧处理左右视点的帧序列，得到左右视点的重建帧序列，组合成为压缩后的双目视频。两个通道均包括上下文生成单元和视频重建单元，上下文生成单元接收当前帧、运动参考帧和视差参考帧，得到最终上下文信息；视频重建单元接收当前帧和当前帧的最终上下文信息，获得重建帧；通过迭代的方式重建帧序列中的每一帧；左右视点的运动参考帧均为该视点上一时刻的重构帧，左视点的视差参考帧为右视点当前时刻的重构帧，右视点的视差参考帧为左视点当前时刻的运动上下文信息。本发明能够在保证视频质量的前提下，提高双目视频的压缩比。

公开(公告)号：CN120047434A

公开(公告)日：2025-05-27

申请号：CN202510505105.0

申请日：2025-04-22

Applicant: 华侨大学

Inventor： 曾焕强 ,  赖伊琳 ,  朱建清 ,  陈婧 ,  施一帆 ,  郭荣新 ,  林晓丹 ,  林琦 ,  郑惠洁

IPC: G06T7/00 ,  G06V20/40 ,  G06V10/44 ,  G06V10/54 ,  G06V10/766 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/045 ,  H04N17/00

Abstract: 本发明公开了基于视点时空相关性的沉浸式视频质量评价方法及装置，涉及视频图像处理技术领域，方法包括：获取包含多视点的纹理视频和深度视频的沉浸式视频，并从中提取出纹理视频块、深度视频块、纹理关键帧以及深度关键帧；将提取出的数据输入训练好的沉浸式视频质量评价模型中进行处理；模型包括纹理深度特征时空交互部分、纹理视频质量评价部分和深度视频质量评价部分；通过模型交互处理得到纹理视频分数和深度视频分数，对得分加权聚合得到最终的沉浸式视频质量评分。本发明通过获取并处理沉浸式视频中的多视点纹理和深度信息，实现了对沉浸式视频质量的评估。