-
公开(公告)号:CN118381920A
公开(公告)日:2024-07-23
申请号:CN202410807401.1
申请日:2024-06-21
Applicant: 华侨大学
IPC: H04N19/147 , G06V10/80 , G06V10/44 , G06V10/54
Abstract: 本发明公开了一种基于联合特征的MIV沉浸式视频率失真优化方法,涉及视频编码领域,包括:计算像素的几何失真权重;将帧内划分为纹理区域与深度区域,提取纹理区域的纹理复杂度特征、纹理区域的边缘特征和深度区域的边缘特征,自适应融合纹理区域的边缘特征和深度区域的边缘特征以得到融合边缘特征;使用纹理复杂度特征与融合边缘特征组成的联合特征,计算得到纹理区域的失真度量缩放因子与深度区域的失真度量缩放因子;根据纹理区域的失真度量缩放因子、失真度量缩放因子和几何失真权重计算新拉格朗日乘子;基于新拉格朗日乘子实现沉浸式视频的率失真优化。本发明可以使得最终渲染的沉浸式视频具有更好的渲染质量与率失真性能。
-
公开(公告)号:CN118379777A
公开(公告)日:2024-07-23
申请号:CN202410807403.0
申请日:2024-06-21
Applicant: 华侨大学
IPC: G06V40/16 , G06N3/0442 , G06N3/0475 , G06N3/094 , G06V10/774 , G06V10/82 , G06V20/40 , G06V40/20 , G10L21/10
Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统,涉及图像处理技术领域,方法包括:构建人脸视频生成模型,包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器,所述人脸视频生成模型接收人脸图像和语音音频,生成人脸说话视频;获取训练数据集并对人脸视频生成模型进行预训练;构建唇型同步判别器作为判别器,对预训练人脸视频生成模型进行生成对抗训练;利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模,并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度,同时兼顾视频的逼真度,使得其更加真实、自然,从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号:CN119741304B
公开(公告)日:2025-05-06
申请号:CN202510262624.9
申请日:2025-03-06
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
Abstract: 本发明公开了一种基于三维人脸几何结构的无参考质量评估方法及装置,涉及计算机视觉领域,方法包括:三维人脸网格模型重建;计算映射关键点和提取关键点之间的欧几里得距离,获得几何一致性分数;用三维人脸分割算法划分人脸区域,计算高斯曲率得到区域曲率分数;计算模型表面的平滑度,检测模型表面是否存在不自然的突起或瑕疵,获得平滑度分数;将几何一致性分数、区域曲率分数和平滑度分数按照加权比例进行融合,输出三维人脸网格模型的综合质量分数。本发明无需依赖数据库中的标准人脸模型,能够基于人脸几何特征和区域性分析对单个重建的三维人脸网格模型质量进行全面评估,适用于智能美容、精准医疗等个性化重建场景。
-
公开(公告)号:CN119809940A
公开(公告)日:2025-04-11
申请号:CN202510287141.4
申请日:2025-03-12
Applicant: 华侨大学 , 信泰(福建)科技有限公司
IPC: G06T3/4076 , G06N3/0464 , G06N3/048 , G06T3/4046 , G06V10/44 , G06V10/80 , G06V10/82
Abstract: 一种基于状态模型的光场图像超分辨率重建方法和装置,包括:构建浅层特征提取模块,用于对输入的待重建的光场图像的子孔径图像形式提取浅层特征;利用状态空间模型构建深层特征提取单元;基于所述深层特征提取单元构建光场空角特征重建模块,用于对所述浅层特征重建光场空角特征;基于所述深层特征提取单元构建光场结构特征重建模块,用于对所述浅层特征重建光场结构特征;构建高分辨率图像重建模块,用于将所述浅层特征、所述光场空角特征和所述光场结构特征进行层次特征融合和上采样得到重建高分辨率光场图像。本发明通过利用状态空间模型的动态特性,显著提升光场图像超分辨率方法的全局空角信息表征能力和细节重建能力。
-
公开(公告)号:CN119205752B
公开(公告)日:2025-03-14
申请号:CN202411703532.1
申请日:2024-11-26
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06T7/00 , G06N3/045 , G06V10/26 , G06V10/52 , G06V10/54 , G06V10/80 , G06V10/82 , G06V20/40 , H04N17/00
Abstract: 本发明公开了一种基于注意力引导的屏幕内容视频质量评价方法及装置,涉及视频质量评价领域,包括:构建时空融合的屏幕内容视频质量评价模型并训练,得到经训练的屏幕内容视频质量评价模型,屏幕内容视频质量评价模型包括空域质量评价分支和时域质量评价分支;获取屏幕内容视频并提取得到若干个碎片化视频和若干个关键帧;将每个碎片化视频和关键帧输入经训练的屏幕内容视频质量评价模型,分别经过空域质量评价分支和时域质量评价分支,得到空域质量分数和时域质量分数,两者结合得到屏幕内容视频的质量分数。本发明解决现有视频质量评价方法的敏感性差,视觉质量评价准确度低等问题。
-
公开(公告)号:CN119323805B
公开(公告)日:2025-02-25
申请号:CN202411876774.0
申请日:2024-12-19
Applicant: 华侨大学
IPC: G06V40/10 , G06N3/0464 , G06N3/084 , G06V10/32 , G06V40/20
Abstract: 本发明公开了一种动静正则混合采样的行人再辨识方法及系统,涉及公共安全智能视频监控技术领域。实践中,采样常独立于行人再辨识模型训练,导致训练过程采样的信息丢失不受控制,制约识辨准确性。为此,本发明设计了正则动态线性采样和静态线性采样混和方法,实现行人再辨识模型训练过程中联合优化采样效果,其中,前者通过归一化的可学习参数,以数据驱动的动态方式学得动态的像素组合权重;后者利用双线性变换来确定静态的像素组合权重,实现与数据无关的采样策略。本发明进一步设计了动静正则项,约束动态的像素组合权重与静态的像素组合权重之间的差异,控制可学习参数的自由度,更好地组合动静采样,减少传统单一静态采样过程中信息损失。
-
公开(公告)号:CN119205752A
公开(公告)日:2024-12-27
申请号:CN202411703532.1
申请日:2024-11-26
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06T7/00 , G06N3/045 , G06V10/26 , G06V10/52 , G06V10/54 , G06V10/80 , G06V10/82 , G06V20/40 , H04N17/00
Abstract: 本发明公开了一种基于注意力引导的屏幕内容视频质量评价方法及装置,涉及视频质量评价领域,包括:构建时空融合的屏幕内容视频质量评价模型并训练,得到经训练的屏幕内容视频质量评价模型,屏幕内容视频质量评价模型包括空域质量评价分支和时域质量评价分支;获取屏幕内容视频并提取得到若干个碎片化视频和若干个关键帧;将每个碎片化视频和关键帧输入经训练的屏幕内容视频质量评价模型,分别经过空域质量评价分支和时域质量评价分支,得到空域质量分数和时域质量分数,两者结合得到屏幕内容视频的质量分数。本发明解决现有视频质量评价方法的敏感性差,视觉质量评价准确度低等问题。
-
公开(公告)号:CN118864287B
公开(公告)日:2024-11-29
申请号:CN202411319738.4
申请日:2024-09-23
Applicant: 华侨大学
Abstract: 本发明公开了一种渐进式单幅图像雨雪去除方法、装置及可读介质,涉及图像处理领域,包括:构建基于循环密集网络的图像雨雪去除模型并训练,得到经训练的图像雨雪去除模型,图像雨雪去除模型包括堆叠设置的若干个内外密集连接子网络,每个内外密集连接子网络包括堆叠设置的若干个内外密集连接块,每个内外密集连接块包括依次连接的长短期记忆模块、第一卷积层、通道注意力模块和第二卷积层;将退化图像输入经训练的图像雨雪去除模型,当前阶段的内外密集连接子网络输出的恢复估计与退化图像输入下一阶段的内外密集连接子网络中,最后一个阶段的内外密集连接子网络输出恢复图像。本发明解决目前渐进式雨雪去除方法所恢复图像中存在的伪影问题。
-
公开(公告)号:CN118864287A
公开(公告)日:2024-10-29
申请号:CN202411319738.4
申请日:2024-09-23
Applicant: 华侨大学
Abstract: 本发明公开了一种渐进式单幅图像雨雪去除方法、装置及可读介质,涉及图像处理领域,包括:构建基于循环密集网络的图像雨雪去除模型并训练,得到经训练的图像雨雪去除模型,图像雨雪去除模型包括堆叠设置的若干个内外密集连接子网络,每个内外密集连接子网络包括堆叠设置的若干个内外密集连接块,每个内外密集连接块包括依次连接的长短期记忆模块、第一卷积层、通道注意力模块和第二卷积层;将退化图像输入经训练的图像雨雪去除模型,当前阶段的内外密集连接子网络输出的恢复估计与退化图像输入下一阶段的内外密集连接子网络中,最后一个阶段的内外密集连接子网络输出恢复图像。本发明解决目前渐进式雨雪去除方法所恢复图像中存在的伪影问题。
-
公开(公告)号:CN118521876B
公开(公告)日:2024-10-22
申请号:CN202410978491.0
申请日:2024-07-22
Applicant: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/98 , G06N3/045 , G06N3/0464 , G06V10/40 , G06V10/54 , G06V10/74 , G06V10/776 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于相似性度量的沉浸式视频质量评价方法及装置,涉及视频处理领域,为了尽可能地解决视频中所存在的冗余信息问题,首先采用随机抽样的方式筛选视频帧;然后考虑到卷积神经网络能够很好地模拟人类视觉感知过程充分捕捉从低层次到高层次的视觉信息进而提取纹理和结构特征,采用预训练的ResNet50模型进行特征提取;并考虑到人类的视觉感知系统在观看视频时不仅会受视频内容的影响还会受到记忆时间的影响,利用一个受主观启发的时间池化策略得到纹理和深度视频的质量分数;最后根据人眼视觉的偏好对纹理和深度视频质量评分进行权重调整得到最终的沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果。
-
-
-
-
-
-
-
-
-