-
公开(公告)号:CN119299671A
公开(公告)日:2025-01-10
申请号:CN202411815010.0
申请日:2024-12-11
Applicant: 华侨大学
IPC: H04N19/103 , H04N19/96 , H04N19/119 , H04N19/126 , H04N19/127 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多阶段不规则编码单元划分的VVC‑SCC帧内编码方法及装置,涉及视频编码领域,包括:设计并训练基于多阶段卷积神经网络的编码单元划分预测模型;其次将输入的视频帧通过经训练的编码单元划分预测模型进行编码单元划分预测模型预测,输出当前帧所有CU的模式类型的预测概率;最后为不同的模式类别设置不同的阈值,根据预测概率和对应的阈值指导VVC‑SCC编码器进行编码,从而跳过不必要的模式类别的遍历。本发明解决现有的VVC‑SCC帧内编码方法编码时间长、编码器计算的复杂度高的问题。
-
公开(公告)号:CN119863405A
公开(公告)日:2025-04-22
申请号:CN202510341442.0
申请日:2025-03-21
Applicant: 华侨大学
IPC: G06T5/77 , G06T5/60 , G06V10/42 , G06V10/44 , G06V10/80 , G06V10/82 , G06V20/40 , G06N3/0455 , G06N3/0464
Abstract: 本发明一种基于频域融合的大面积缺损视频修复方法及装置,涉及视频处理技术领域,针对现阶段缺损视频修复方法主要局限于小面积缺损场景,对大面积缺损的视频内容修复能力不足,难以生成合理的视觉修复结果的问题,提出了一种有效的解决方法,方法包括以下步骤:首先,获取缺损的视频帧序列,对视频帧序列进行下采样;接着,使用堆叠的频域融合残差块对下采样后的缺损视频帧进行全局信息建模,频域融合残差块由两个自适应频域交叉融合模块依次连接而成;然后,利用堆叠的时间Transformer模块优化多帧之间的时间一致性;最后,进行上采样以重建视频帧,得到最终修复的视频。本发明能够在大范围缺损区域中生成视觉上合理、内容流畅自然的视频修复效果。
-
公开(公告)号:CN118864287B
公开(公告)日:2024-11-29
申请号:CN202411319738.4
申请日:2024-09-23
Applicant: 华侨大学
Abstract: 本发明公开了一种渐进式单幅图像雨雪去除方法、装置及可读介质,涉及图像处理领域,包括:构建基于循环密集网络的图像雨雪去除模型并训练,得到经训练的图像雨雪去除模型,图像雨雪去除模型包括堆叠设置的若干个内外密集连接子网络,每个内外密集连接子网络包括堆叠设置的若干个内外密集连接块,每个内外密集连接块包括依次连接的长短期记忆模块、第一卷积层、通道注意力模块和第二卷积层;将退化图像输入经训练的图像雨雪去除模型,当前阶段的内外密集连接子网络输出的恢复估计与退化图像输入下一阶段的内外密集连接子网络中,最后一个阶段的内外密集连接子网络输出恢复图像。本发明解决目前渐进式雨雪去除方法所恢复图像中存在的伪影问题。
-
公开(公告)号:CN118450127B
公开(公告)日:2024-11-05
申请号:CN202410885047.4
申请日:2024-07-03
Applicant: 华侨大学
IPC: H04N19/147 , H04N19/625 , H04N19/136 , H04N19/149
Abstract: 本发明公开了一种融合空频域显著性特征的SCV编码感知码率控制方法及装置,涉及视频编码领域,方法包括:获取屏幕内容视频,通过卷积、相似度计算,对屏幕内容视频在空域上进行显著性建模,获得空域的显著性特征;其次利用DCT变换,对屏幕内容视频在频域上进行显著性建模,获得频域的显著性特征;然后利用显著性因子指导CTU级的目标比特分配;最后通过显著性因子构建显著性启发的感知码率控制模型,调节参数,实现码率控制。本发明通过提取空域和频域的显著性特征并加以融合求得显著性因子,使用显著性因子指导码率控制,能够提高编码率失真性能,提升码率分配精度。
-
公开(公告)号:CN118864287A
公开(公告)日:2024-10-29
申请号:CN202411319738.4
申请日:2024-09-23
Applicant: 华侨大学
Abstract: 本发明公开了一种渐进式单幅图像雨雪去除方法、装置及可读介质,涉及图像处理领域,包括:构建基于循环密集网络的图像雨雪去除模型并训练,得到经训练的图像雨雪去除模型,图像雨雪去除模型包括堆叠设置的若干个内外密集连接子网络,每个内外密集连接子网络包括堆叠设置的若干个内外密集连接块,每个内外密集连接块包括依次连接的长短期记忆模块、第一卷积层、通道注意力模块和第二卷积层;将退化图像输入经训练的图像雨雪去除模型,当前阶段的内外密集连接子网络输出的恢复估计与退化图像输入下一阶段的内外密集连接子网络中,最后一个阶段的内外密集连接子网络输出恢复图像。本发明解决目前渐进式雨雪去除方法所恢复图像中存在的伪影问题。
-
公开(公告)号:CN118521876B
公开(公告)日:2024-10-22
申请号:CN202410978491.0
申请日:2024-07-22
Applicant: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/98 , G06N3/045 , G06N3/0464 , G06V10/40 , G06V10/54 , G06V10/74 , G06V10/776 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于相似性度量的沉浸式视频质量评价方法及装置,涉及视频处理领域,为了尽可能地解决视频中所存在的冗余信息问题,首先采用随机抽样的方式筛选视频帧;然后考虑到卷积神经网络能够很好地模拟人类视觉感知过程充分捕捉从低层次到高层次的视觉信息进而提取纹理和结构特征,采用预训练的ResNet50模型进行特征提取;并考虑到人类的视觉感知系统在观看视频时不仅会受视频内容的影响还会受到记忆时间的影响,利用一个受主观启发的时间池化策略得到纹理和深度视频的质量分数;最后根据人眼视觉的偏好对纹理和深度视频质量评分进行权重调整得到最终的沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果。
-
公开(公告)号:CN119316609B
公开(公告)日:2025-02-25
申请号:CN202411837846.0
申请日:2024-12-13
Applicant: 华侨大学
IPC: H04N19/53 , G06N3/0464 , H04N19/80
Abstract: 本发明公开了一种基于自注意力机制的端到端视频压缩方法及系统,涉及视频编码领域,方法包括:提取当前帧、运动参考帧和上一时刻的重构帧的浅层特征;提取当前帧和运动参考帧之间的运动信息特征;压缩运动信息特征,获得压缩后的运动信息特征;将压缩后的运动信息特征补偿在上一时刻的重构帧的浅层特征上,获得当前时刻的上下文信息特征;压缩获得压缩后的上下文信息特征;将压缩后的上下文信息特征和当前帧的浅层特征融合特征进行编码,获得当前时刻的重构帧;对当前时刻的重构帧进行上采样,获得压缩视点图像;对压缩视点图像中的运动信息累积误差进行修正,得到下一帧的运动参考帧。本发明能够在提高运动估计的准确性的同时提升了编码的效率。
-
公开(公告)号:CN118865075B
公开(公告)日:2024-12-03
申请号:CN202411319739.9
申请日:2024-09-23
Applicant: 华侨大学
IPC: G06V10/98 , G06N3/043 , G06N3/0464 , G06V10/776 , G06V10/82
Abstract: 本发明公开了一种基于分层时空感知的屏幕内容视频质量评价方法及装置,涉及视频评价领域,包括:提取屏幕内容视频中的若干个碎片化视频和若干个关键帧并输入经训练的屏幕内容视频质量评价模型,每个关键帧输入显著性计算模块筛选出若干个显著视频块,每个显著视频块输入双通道卷积神经网络,得到每个阶段的多层特征并输入块级质量评估模块,经过空间门特征增强模块,得到每个阶段的增强特征并输入块级质量聚合模块,得到每个视频块的块级质量分数;采用自适应加权策略计算得到空域感知质量分数;碎片化视频输入时域感知质量评估支路,得到时域感知质量分数,两者结合计算得到屏幕内容视频的质量分数,解决现有视频质量评价方法可靠性差的问题。
-
公开(公告)号:CN118469876A
公开(公告)日:2024-08-09
申请号:CN202410912771.1
申请日:2024-07-09
Applicant: 华侨大学
IPC: G06T5/77 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06T5/60
Abstract: 本发明公开了一种基于强感知Transformer架构的缺损视频修复方法及系统,涉及视频处理技术领域,方法包括以下步骤:特征提取模块接收待修复的缺损视频帧序列,采用卷积神经网络对视频帧进行特征提取,输出第一特征;强感知Transformer模块接收第一特征,采用交叉堆叠的局部感知Transformer和全局感知Transformer结构对第一特征进行纹理信息建模和结构信息建模,输出第二特征;重构模块接收第二特征,采用反卷积层进行视频帧重建,输出修复后视频帧序列。本发明采用交叉堆叠的局部感知Transformer和全局感知Transformer进行纹理信息和结构信息建模,有效解决现阶段缺损视频修复方法中存在修复区域缺乏细节纹理、全局结构与局部纹理不匹配的问题,实现更好的修复效果。
-
公开(公告)号:CN117440158B
公开(公告)日:2024-04-12
申请号:CN202311759886.3
申请日:2023-12-20
Applicant: 华侨大学
IPC: H04N19/147 , H04N19/154
Abstract: 本发明公开了一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,涉及视频编码领域,包括:S1,基于MIV编码平台编码沉浸式视频序列,生成图集后,计算与深度映射范围系数;S2,使用支持MIV标准的二维视频编码器编码沉浸式视频几何图集时,构建三维几何失真与均方误差的关系模型;S3,根据三维几何失真与均方误差的关系模型,计算三维几何失真系数;S4,根据三维几何失真系数,计算率失真优化模型中新的拉格朗日乘子,基于调整后的率失真优化模型编码当前CTU,以改善沉浸式视频渲染质量的率失真性能。本发明最终渲染的沉浸式视频质量与码率的率失真性能更好。
-
-
-
-
-
-
-
-
-