一种基于联合特征的MIV沉浸式视频率失真优化方法

    公开(公告)号:CN118381920A

    公开(公告)日:2024-07-23

    申请号:CN202410807401.1

    申请日:2024-06-21

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于联合特征的MIV沉浸式视频率失真优化方法,涉及视频编码领域,包括:计算像素的几何失真权重;将帧内划分为纹理区域与深度区域,提取纹理区域的纹理复杂度特征、纹理区域的边缘特征和深度区域的边缘特征,自适应融合纹理区域的边缘特征和深度区域的边缘特征以得到融合边缘特征;使用纹理复杂度特征与融合边缘特征组成的联合特征,计算得到纹理区域的失真度量缩放因子与深度区域的失真度量缩放因子;根据纹理区域的失真度量缩放因子、失真度量缩放因子和几何失真权重计算新拉格朗日乘子;基于新拉格朗日乘子实现沉浸式视频的率失真优化。本发明可以使得最终渲染的沉浸式视频具有更好的渲染质量与率失真性能。

    一种基于姿势对抗网络的人脸视频生成方法及系统

    公开(公告)号:CN118379777A

    公开(公告)日:2024-07-23

    申请号:CN202410807403.0

    申请日:2024-06-21

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统,涉及图像处理技术领域,方法包括:构建人脸视频生成模型,包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器,所述人脸视频生成模型接收人脸图像和语音音频,生成人脸说话视频;获取训练数据集并对人脸视频生成模型进行预训练;构建唇型同步判别器作为判别器,对预训练人脸视频生成模型进行生成对抗训练;利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模,并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度,同时兼顾视频的逼真度,使得其更加真实、自然,从而为各种应用场景提供了更多的灵活性。

    基于三维人脸几何结构的无参考质量评估方法及装置

    公开(公告)号:CN119741304B

    公开(公告)日:2025-05-06

    申请号:CN202510262624.9

    申请日:2025-03-06

    Abstract: 本发明公开了一种基于三维人脸几何结构的无参考质量评估方法及装置,涉及计算机视觉领域,方法包括:三维人脸网格模型重建;计算映射关键点和提取关键点之间的欧几里得距离,获得几何一致性分数;用三维人脸分割算法划分人脸区域,计算高斯曲率得到区域曲率分数;计算模型表面的平滑度,检测模型表面是否存在不自然的突起或瑕疵,获得平滑度分数;将几何一致性分数、区域曲率分数和平滑度分数按照加权比例进行融合,输出三维人脸网格模型的综合质量分数。本发明无需依赖数据库中的标准人脸模型,能够基于人脸几何特征和区域性分析对单个重建的三维人脸网格模型质量进行全面评估,适用于智能美容、精准医疗等个性化重建场景。

    一种动静正则混合采样的行人再辨识方法及系统

    公开(公告)号:CN119323805B

    公开(公告)日:2025-02-25

    申请号:CN202411876774.0

    申请日:2024-12-19

    Applicant: 华侨大学

    Abstract: 本发明公开了一种动静正则混合采样的行人再辨识方法及系统,涉及公共安全智能视频监控技术领域。实践中,采样常独立于行人再辨识模型训练,导致训练过程采样的信息丢失不受控制,制约识辨准确性。为此,本发明设计了正则动态线性采样和静态线性采样混和方法,实现行人再辨识模型训练过程中联合优化采样效果,其中,前者通过归一化的可学习参数,以数据驱动的动态方式学得动态的像素组合权重;后者利用双线性变换来确定静态的像素组合权重,实现与数据无关的采样策略。本发明进一步设计了动静正则项,约束动态的像素组合权重与静态的像素组合权重之间的差异,控制可学习参数的自由度,更好地组合动静采样,减少传统单一静态采样过程中信息损失。

    渐进式单幅图像雨雪去除方法、装置及可读介质

    公开(公告)号:CN118864287B

    公开(公告)日:2024-11-29

    申请号:CN202411319738.4

    申请日:2024-09-23

    Applicant: 华侨大学

    Abstract: 本发明公开了一种渐进式单幅图像雨雪去除方法、装置及可读介质,涉及图像处理领域,包括:构建基于循环密集网络的图像雨雪去除模型并训练,得到经训练的图像雨雪去除模型,图像雨雪去除模型包括堆叠设置的若干个内外密集连接子网络,每个内外密集连接子网络包括堆叠设置的若干个内外密集连接块,每个内外密集连接块包括依次连接的长短期记忆模块、第一卷积层、通道注意力模块和第二卷积层;将退化图像输入经训练的图像雨雪去除模型,当前阶段的内外密集连接子网络输出的恢复估计与退化图像输入下一阶段的内外密集连接子网络中,最后一个阶段的内外密集连接子网络输出恢复图像。本发明解决目前渐进式雨雪去除方法所恢复图像中存在的伪影问题。

    渐进式单幅图像雨雪去除方法、装置及可读介质

    公开(公告)号:CN118864287A

    公开(公告)日:2024-10-29

    申请号:CN202411319738.4

    申请日:2024-09-23

    Applicant: 华侨大学

    Abstract: 本发明公开了一种渐进式单幅图像雨雪去除方法、装置及可读介质,涉及图像处理领域,包括:构建基于循环密集网络的图像雨雪去除模型并训练,得到经训练的图像雨雪去除模型,图像雨雪去除模型包括堆叠设置的若干个内外密集连接子网络,每个内外密集连接子网络包括堆叠设置的若干个内外密集连接块,每个内外密集连接块包括依次连接的长短期记忆模块、第一卷积层、通道注意力模块和第二卷积层;将退化图像输入经训练的图像雨雪去除模型,当前阶段的内外密集连接子网络输出的恢复估计与退化图像输入下一阶段的内外密集连接子网络中,最后一个阶段的内外密集连接子网络输出恢复图像。本发明解决目前渐进式雨雪去除方法所恢复图像中存在的伪影问题。

Patent Agency Ranking