-
公开(公告)号：CN117237259A
公开(公告)日：2023-12-15
申请号：CN202311510614.X
申请日：2023-11-14
Applicant: 华侨大学
Abstract: 本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置，涉及图像处理领域，该方法包括：获取图像帧及其对应的光流图和纹理图并分别进行特征提取，得到图像特征、光流特征和纹理特征；构建压缩视频质量增强模型并训练，得到经训练的压缩视频质量增强模型；将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型，图像特征、光流特征和纹理特征输入多模态一致性单元，自适应调整三种模态信息的分布，得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合，得到融合特征并输入多模态重构单元，得到重构信息，将重构信息与图像帧相加，得到增强的视频帧，解决单模态图像难以有效改善最终重建视频的质量的问题。
-
公开(公告)号：CN116600107B
公开(公告)日：2023-11-21
申请号：CN202310893891.7
申请日：2023-07-20
Applicant: 华侨大学
IPC: H04N19/103 , H04N19/119 , H04N19/124 , G06N3/0464 , G06T9/00
-
公开(公告)号：CN117010458A
公开(公告)日：2023-11-07
申请号：CN202311287656.1
申请日：2023-10-08
Applicant: 华侨大学
IPC: G06N3/0464 , G06N3/048 , G06N3/084 , G06F16/31 , G06F16/33 , G06F16/51 , G06F16/583
Abstract: 本发明公开了一种基于动态排序优化的图文检索深度神经网络模型训练方法，涉及信息检索技术领域，包括：构建深度神经网络用于图像与文本数据的深度特征提取；基于输入的图文实例对的标签与特征信息，计算实例间的标签层级相似度矩阵、特征层级相似度矩阵以及不同实例之间的亲和矩阵；通过构建融合语义相似度损失、排序损失以及哈希量化损失的综合损失函数，采用梯度下降优化算法缩小所述损失值，得到训练好的深度神经网络模型。本发明在模型训练过程中动态地调整梯度优化强度，提高了训练速度和精度，通过训练好的深度神经网络模型实现跨模态检索精度的提升。
-
公开(公告)号：CN116634147A
公开(公告)日：2023-08-22
申请号：CN202310911767.9
申请日：2023-07-25
Applicant: 华侨大学
IPC: H04N19/11 , H04N19/169 , G06N3/0464 , G06N3/08 , G06V10/764 , G06V10/774 , G06V10/82 , G06V10/80
Abstract: 本发明公开了一种基于多尺度特征融合的HEVC‑SCC帧内CU快速划分编码方法及装置，涉及视频编码领域，方法包括：首先搭建数据库，构建基于多尺度特征融合的卷积神经网络模型，并训练基于多尺度特征融合的卷积神经网络模型；其次将输入的CTU通过多尺度特征融合卷积神经网络，输出预测标签；最后为不同类型序列赋不同阈值，根据预测标签指导平台进行编码，从而跳过不必要的深度遍历。本发明提出的基于多尺度特征融合的HEVC‑SCC帧内CU快速划分编码方法，能够节省编码时间，明显降低屏幕内容视频的计算复杂度。
-
公开(公告)号：CN116600107A
公开(公告)日：2023-08-15
申请号：CN202310893891.7
申请日：2023-07-20
Applicant: 华侨大学
IPC: H04N19/103 , H04N19/119 , H04N19/124 , G06N3/0464 , G06T9/00
Abstract: 本发明公开了一种基于IPMS‑CNN和空域相邻CU编码模式的HEVC‑SCC快速编码方法及装置，将卷积神经网络预测大尺寸CU模式的方法与基于空间相邻CU所采用模式数量预测小尺寸CU模式的方法相结合，旨在保持编码质量的同时减少编码时间，降低计算复杂度，方法首先搭建数据库，训练IBC/PLT模式选择的卷积神经网络模型；其次将输入的CTU通过模式选择网络，输出CTU的模式预测标签；最后通过统计相邻3个CU所使用的模式数量来预测当前CU选择的模式。本发明能够节省编码时间，降低屏幕内容视频的计算复杂度。
-
Patent Agency Ranking
公开(公告)号：CN111510721A
公开(公告)日：2020-08-07
申请号：CN202010278978.X
申请日：2020-04-10
Applicant: 华侨大学
IPC: H04N19/39 , H04N19/132 , H04N19/59 , H04N19/124 , H04N19/61
Abstract: 本发明提供了一种基于空间下采样的多描述编码高质量边重建方法，包括，制作数据集：选取视频，通过空间下采样分成两个描述，在量化参数QP值设定下，编码，解码，将解码后的视频和相应的原始视频作为训练集；训练SD-VSRnet网络：每五帧视频作为网络的输入，依次进行特征提取，恢复高频细节，像素重排，再与输入的中间帧进行跳跃连接得到重建的视频帧，逐帧重建获得最后的重建视频，实现SD-VSRnet网络的训练。本发明提出的方法制作了适用于空间下采样的多描述编码高质量边重建的数据集，另外，采用视频超分辨率的神经网络，分别测试4种QP值，可以有效提高不同压缩程度的边缘解码视频重建质量。
-
公开(公告)号：CN119316609B
公开(公告)日：2025-02-25
申请号：CN202411837846.0
申请日：2024-12-13
Applicant: 华侨大学
IPC: H04N19/53 , G06N3/0464 , H04N19/80
Abstract: 本发明公开了一种基于自注意力机制的端到端视频压缩方法及系统，涉及视频编码领域，方法包括：提取当前帧、运动参考帧和上一时刻的重构帧的浅层特征；提取当前帧和运动参考帧之间的运动信息特征；压缩运动信息特征，获得压缩后的运动信息特征；将压缩后的运动信息特征补偿在上一时刻的重构帧的浅层特征上，获得当前时刻的上下文信息特征；压缩获得压缩后的上下文信息特征；将压缩后的上下文信息特征和当前帧的浅层特征融合特征进行编码，获得当前时刻的重构帧；对当前时刻的重构帧进行上采样，获得压缩视点图像；对压缩视点图像中的运动信息累积误差进行修正，得到下一帧的运动参考帧。本发明能够在提高运动估计的准确性的同时提升了编码的效率。
-
公开(公告)号：CN118865075B
公开(公告)日：2024-12-03
申请号：CN202411319739.9
申请日：2024-09-23
Applicant: 华侨大学
IPC: G06V10/98 , G06N3/043 , G06N3/0464 , G06V10/776 , G06V10/82
Abstract: 本发明公开了一种基于分层时空感知的屏幕内容视频质量评价方法及装置，涉及视频评价领域，包括：提取屏幕内容视频中的若干个碎片化视频和若干个关键帧并输入经训练的屏幕内容视频质量评价模型，每个关键帧输入显著性计算模块筛选出若干个显著视频块，每个显著视频块输入双通道卷积神经网络，得到每个阶段的多层特征并输入块级质量评估模块，经过空间门特征增强模块，得到每个阶段的增强特征并输入块级质量聚合模块，得到每个视频块的块级质量分数；采用自适应加权策略计算得到空域感知质量分数；碎片化视频输入时域感知质量评估支路，得到时域感知质量分数，两者结合计算得到屏幕内容视频的质量分数，解决现有视频质量评价方法可靠性差的问题。
-
公开(公告)号：CN118379777B
公开(公告)日：2024-11-22
申请号：CN202410807403.0
申请日：2024-06-21
Applicant: 华侨大学
IPC: G06V40/16 , G06N3/0442 , G06N3/0475 , G06N3/094 , G06V10/774 , G06V10/82 , G06V20/40 , G06V40/20 , G10L21/10
Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统，涉及图像处理技术领域，方法包括：构建人脸视频生成模型，包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器，所述人脸视频生成模型接收人脸图像和语音音频，生成人脸说话视频；获取训练数据集并对人脸视频生成模型进行预训练；构建唇型同步判别器作为判别器，对预训练人脸视频生成模型进行生成对抗训练；利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模，并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度，同时兼顾视频的逼真度，使得其更加真实、自然，从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号：CN118632027B
公开(公告)日：2024-10-29
申请号：CN202411083106.2
申请日：2024-08-08
Applicant: 华侨大学
IPC: H04N19/597 , H04N19/85 , H04N19/91 , G06V10/82 , G06N3/042 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/0499 , G06N3/08 , G06V10/80
Abstract: 本发明公开了一种基于图卷积网络的点云压缩方法，涉及点云压缩技术领域，包括：编码器接收原始点云，利用最远点采样实现全局均匀采样，利用图卷积网络实现局部密度采样，按比例选择全局均匀采样后的点云和局部密度采样后的点云，获得下采样后的点云，再使用边缘卷积、点变压器和注意力机制分别进行动态特征学习和融合获得融合特征；熵瓶颈层对下采样后的点云和融合特征进行压缩‑解压缩获得重建点云和重建特征；解码器基于SGFN和DenseGCN对重建点云和重建特征进行特征提取，提取到的特征通过上采样和坐标重建获得重建后的点云。本发明能够在保证相同视觉质量的前提下显著降低比特率开销，提高压缩效率。
-
-
-
-
-
-
-
-
-
Search Results
53
records
(took 0.042 seconds)
