基于频域融合的大面积缺损视频修复方法及装置

    公开(公告)号:CN119863405A

    公开(公告)日:2025-04-22

    申请号:CN202510341442.0

    申请日:2025-03-21

    Applicant: 华侨大学

    Abstract: 本发明一种基于频域融合的大面积缺损视频修复方法及装置,涉及视频处理技术领域,针对现阶段缺损视频修复方法主要局限于小面积缺损场景,对大面积缺损的视频内容修复能力不足,难以生成合理的视觉修复结果的问题,提出了一种有效的解决方法,方法包括以下步骤:首先,获取缺损的视频帧序列,对视频帧序列进行下采样;接着,使用堆叠的频域融合残差块对下采样后的缺损视频帧进行全局信息建模,频域融合残差块由两个自适应频域交叉融合模块依次连接而成;然后,利用堆叠的时间Transformer模块优化多帧之间的时间一致性;最后,进行上采样以重建视频帧,得到最终修复的视频。本发明能够在大范围缺损区域中生成视觉上合理、内容流畅自然的视频修复效果。

    渐进式单幅图像雨雪去除方法、装置及可读介质

    公开(公告)号:CN118864287B

    公开(公告)日:2024-11-29

    申请号:CN202411319738.4

    申请日:2024-09-23

    Applicant: 华侨大学

    Abstract: 本发明公开了一种渐进式单幅图像雨雪去除方法、装置及可读介质,涉及图像处理领域,包括:构建基于循环密集网络的图像雨雪去除模型并训练,得到经训练的图像雨雪去除模型,图像雨雪去除模型包括堆叠设置的若干个内外密集连接子网络,每个内外密集连接子网络包括堆叠设置的若干个内外密集连接块,每个内外密集连接块包括依次连接的长短期记忆模块、第一卷积层、通道注意力模块和第二卷积层;将退化图像输入经训练的图像雨雪去除模型,当前阶段的内外密集连接子网络输出的恢复估计与退化图像输入下一阶段的内外密集连接子网络中,最后一个阶段的内外密集连接子网络输出恢复图像。本发明解决目前渐进式雨雪去除方法所恢复图像中存在的伪影问题。

    融合空频域显著性特征的SCV编码感知码率控制方法及装置

    公开(公告)号:CN118450127B

    公开(公告)日:2024-11-05

    申请号:CN202410885047.4

    申请日:2024-07-03

    Applicant: 华侨大学

    Abstract: 本发明公开了一种融合空频域显著性特征的SCV编码感知码率控制方法及装置,涉及视频编码领域,方法包括:获取屏幕内容视频,通过卷积、相似度计算,对屏幕内容视频在空域上进行显著性建模,获得空域的显著性特征;其次利用DCT变换,对屏幕内容视频在频域上进行显著性建模,获得频域的显著性特征;然后利用显著性因子指导CTU级的目标比特分配;最后通过显著性因子构建显著性启发的感知码率控制模型,调节参数,实现码率控制。本发明通过提取空域和频域的显著性特征并加以融合求得显著性因子,使用显著性因子指导码率控制,能够提高编码率失真性能,提升码率分配精度。

    渐进式单幅图像雨雪去除方法、装置及可读介质

    公开(公告)号:CN118864287A

    公开(公告)日:2024-10-29

    申请号:CN202411319738.4

    申请日:2024-09-23

    Applicant: 华侨大学

    Abstract: 本发明公开了一种渐进式单幅图像雨雪去除方法、装置及可读介质,涉及图像处理领域,包括:构建基于循环密集网络的图像雨雪去除模型并训练,得到经训练的图像雨雪去除模型,图像雨雪去除模型包括堆叠设置的若干个内外密集连接子网络,每个内外密集连接子网络包括堆叠设置的若干个内外密集连接块,每个内外密集连接块包括依次连接的长短期记忆模块、第一卷积层、通道注意力模块和第二卷积层;将退化图像输入经训练的图像雨雪去除模型,当前阶段的内外密集连接子网络输出的恢复估计与退化图像输入下一阶段的内外密集连接子网络中,最后一个阶段的内外密集连接子网络输出恢复图像。本发明解决目前渐进式雨雪去除方法所恢复图像中存在的伪影问题。

    基于自注意力机制的端到端视频压缩方法及系统

    公开(公告)号:CN119316609B

    公开(公告)日:2025-02-25

    申请号:CN202411837846.0

    申请日:2024-12-13

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于自注意力机制的端到端视频压缩方法及系统,涉及视频编码领域,方法包括:提取当前帧、运动参考帧和上一时刻的重构帧的浅层特征;提取当前帧和运动参考帧之间的运动信息特征;压缩运动信息特征,获得压缩后的运动信息特征;将压缩后的运动信息特征补偿在上一时刻的重构帧的浅层特征上,获得当前时刻的上下文信息特征;压缩获得压缩后的上下文信息特征;将压缩后的上下文信息特征和当前帧的浅层特征融合特征进行编码,获得当前时刻的重构帧;对当前时刻的重构帧进行上采样,获得压缩视点图像;对压缩视点图像中的运动信息累积误差进行修正,得到下一帧的运动参考帧。本发明能够在提高运动估计的准确性的同时提升了编码的效率。

    基于分层时空感知的屏幕内容视频质量评价方法及装置

    公开(公告)号:CN118865075B

    公开(公告)日:2024-12-03

    申请号:CN202411319739.9

    申请日:2024-09-23

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于分层时空感知的屏幕内容视频质量评价方法及装置,涉及视频评价领域,包括:提取屏幕内容视频中的若干个碎片化视频和若干个关键帧并输入经训练的屏幕内容视频质量评价模型,每个关键帧输入显著性计算模块筛选出若干个显著视频块,每个显著视频块输入双通道卷积神经网络,得到每个阶段的多层特征并输入块级质量评估模块,经过空间门特征增强模块,得到每个阶段的增强特征并输入块级质量聚合模块,得到每个视频块的块级质量分数;采用自适应加权策略计算得到空域感知质量分数;碎片化视频输入时域感知质量评估支路,得到时域感知质量分数,两者结合计算得到屏幕内容视频的质量分数,解决现有视频质量评价方法可靠性差的问题。

    一种基于强感知Transformer架构的缺损视频修复方法及系统

    公开(公告)号:CN118469876A

    公开(公告)日:2024-08-09

    申请号:CN202410912771.1

    申请日:2024-07-09

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于强感知Transformer架构的缺损视频修复方法及系统,涉及视频处理技术领域,方法包括以下步骤:特征提取模块接收待修复的缺损视频帧序列,采用卷积神经网络对视频帧进行特征提取,输出第一特征;强感知Transformer模块接收第一特征,采用交叉堆叠的局部感知Transformer和全局感知Transformer结构对第一特征进行纹理信息建模和结构信息建模,输出第二特征;重构模块接收第二特征,采用反卷积层进行视频帧重建,输出修复后视频帧序列。本发明采用交叉堆叠的局部感知Transformer和全局感知Transformer进行纹理信息和结构信息建模,有效解决现阶段缺损视频修复方法中存在修复区域缺乏细节纹理、全局结构与局部纹理不匹配的问题,实现更好的修复效果。

    基于三维几何失真的MIV沉浸式视频编码率失真优化方法

    公开(公告)号:CN117440158B

    公开(公告)日:2024-04-12

    申请号:CN202311759886.3

    申请日:2023-12-20

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,涉及视频编码领域,包括:S1,基于MIV编码平台编码沉浸式视频序列,生成图集后,计算与深度映射范围系数;S2,使用支持MIV标准的二维视频编码器编码沉浸式视频几何图集时,构建三维几何失真与均方误差的关系模型;S3,根据三维几何失真与均方误差的关系模型,计算三维几何失真系数;S4,根据三维几何失真系数,计算率失真优化模型中新的拉格朗日乘子,基于调整后的率失真优化模型编码当前CTU,以改善沉浸式视频渲染质量的率失真性能。本发明最终渲染的沉浸式视频质量与码率的率失真性能更好。

Patent Agency Ranking