-
公开(公告)号：CN117422614B
公开(公告)日：2024-03-12
申请号：CN202311745925.4
申请日：2023-12-19
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06T3/40 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/42 , G06V10/44
Abstract: 本发明公开了一种基于混合特征交互Transformer的单帧图像超分辨率方法及装置，涉及图像处理领域，包括：获取待重建的低分辨率图像；构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；将低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像，解决Transformer的SR方法忽略不同维度的特征之间的潜在关联性，影响重建性能的问题。
-
公开(公告)号：CN117422614A
公开(公告)日：2024-01-19
申请号：CN202311745925.4
申请日：2023-12-19
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06T3/40 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/42 , G06V10/44
Abstract: 本发明公开了一种基于混合特征交互Transformer的单帧图像超分辨率方法及装置，涉及图像处理领域，包括：获取待重建的低分辨率图像；构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；将低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像，解决Transformer的SR方法忽略不同维度的特征之间的潜在关联性，影响重建性能的问题。
-
公开(公告)号：CN118609034B
公开(公告)日：2024-10-15
申请号：CN202411080625.3
申请日：2024-08-08
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
Abstract: 本发明公开了一种基于帧级时间聚合策略的沉浸式视频质量评价方法及装置，涉及视频处理领域，方法包括：通过帧抽样策略去除视频冗余信息，采用卷积网络对沉浸式视频（即多视点纹理加深度视频）不同区域进行多尺度特征提取；接着使用注意力模型对特征进行加权，通过帧级时间聚合策略自适应地筛选沿时间维度的质量分数；最终结合六自由度（Degree of Freedom，DoF）时空轨迹权重获取失真沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果，稳定性和鲁棒性高。
-
公开(公告)号：CN118609034A
公开(公告)日：2024-09-06
申请号：CN202411080625.3
申请日：2024-08-08
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
Abstract: 本发明公开了一种基于帧级时间聚合策略的沉浸式视频质量评价方法及装置，涉及视频处理领域，方法包括：通过帧抽样策略去除视频冗余信息，采用卷积网络对沉浸式视频（即多视点纹理加深度视频）不同区域进行多尺度特征提取；接着使用注意力模型对特征进行加权，通过帧级时间聚合策略自适应地筛选沿时间维度的质量分数；最终结合六自由度（Degree of Freedom，DoF）时空轨迹权重获取失真沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果，稳定性和鲁棒性高。
-
公开(公告)号：CN119863744A
公开(公告)日：2025-04-22
申请号：CN202510346077.2
申请日：2025-03-24
Applicant: 华侨大学
Abstract: 本发明一种基于六自由度信息引导的沉浸式视频质量评价方法及装置，涉及计算机视觉领域，方法包括：构建基于六自由度信息引导的沉浸式视频质量评价模型并训练，得到经训练的评价模型；从沉浸式视频提取纹理视频块、纹理关键帧和深度关键帧；将纹理视频块、纹理关键帧和深度关键帧输入经训练的评价模型，通过视觉信息编码模块提取到对应的视觉特征；将视觉特征输入时空映射模块得到时间视觉标记和空间视觉标记；通过语言编码器对指令信息和六自由度视点位置信息进行编码，得到文本指令标记和视点位置标记；将各标记进行组合得到组合标记，将组合标记输入语音解码器中，得到沉浸式视频质量分数。本发明能够准确客观评估沉浸式视频的质量。
-
Patent Agency Ranking
公开(公告)号：CN119848794A
公开(公告)日：2025-04-18
申请号：CN202510340474.9
申请日：2025-03-21
Applicant: 华侨大学
IPC: G06F18/25 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/0499 , G06N3/082 , G06F18/213 , G06F18/2413 , G06F18/2415
Abstract: 本发明公开了一种基于分层交互对齐网络的多模态情感识别方法及装置，涉及数据处理领域，包括：构建多模态情感识别模型并利用层次表示分布对齐层对齐进行训练，得到经训练的多模态情感识别模型；获取目标域人群中的其中一个待识别人员的脑电数据与眼动数据对并输入到经训练的多模态情感识别模型，依次经过特征提取模块和分层自适应交互注意力模块，得到待识别人员对应的最终跨模态特征，待识别人员对应的最终跨模态特征和目标域数据对应的最终跨模态特征输入到少样本学习模块，得到待识别人员属于每个情感类别的概率值，选择概率值最大所对应的情感类别作为待识别人员的预测情感类别。本发明解决多模态情感识别中个体差异大、样本数量有限的问题。
-
公开(公告)号：CN119299671B
公开(公告)日：2025-02-21
申请号：CN202411815010.0
申请日：2024-12-11
Applicant: 华侨大学
IPC: H04N19/103 , H04N19/96 , H04N19/119 , H04N19/126 , H04N19/127 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多阶段不规则编码单元划分的VVC‑SCC帧内编码方法及装置，涉及视频编码领域，包括：设计并训练基于多阶段卷积神经网络的编码单元划分预测模型；其次将输入的视频帧通过经训练的编码单元划分预测模型进行编码单元划分预测模型预测，输出当前帧所有CU的模式类型的预测概率；最后为不同的模式类别设置不同的阈值，根据预测概率和对应的阈值指导VVC‑SCC编码器进行编码，从而跳过不必要的模式类别的遍历。本发明解决现有的VVC‑SCC帧内编码方法编码时间长、编码器计算的复杂度高的问题。
-
公开(公告)号：CN119316609A
公开(公告)日：2025-01-14
申请号：CN202411837846.0
申请日：2024-12-13
Applicant: 华侨大学
IPC: H04N19/53 , G06N3/0464 , H04N19/80
Abstract: 本发明公开了一种基于自注意力机制的端到端视频压缩方法及系统，涉及视频编码领域，方法包括：提取当前帧、运动参考帧和上一时刻的重构帧的浅层特征；提取当前帧和运动参考帧之间的运动信息特征；压缩运动信息特征，获得压缩后的运动信息特征；将压缩后的运动信息特征补偿在上一时刻的重构帧的浅层特征上，获得当前时刻的上下文信息特征；压缩获得压缩后的上下文信息特征；将压缩后的上下文信息特征和当前帧的浅层特征融合特征进行编码，获得当前时刻的重构帧；对当前时刻的重构帧进行上采样，获得压缩视点图像；对压缩视点图像中的运动信息累积误差进行修正，得到下一帧的运动参考帧。本发明能够在提高运动估计的准确性的同时提升了编码的效率。
-
公开(公告)号：CN118865075A
公开(公告)日：2024-10-29
申请号：CN202411319739.9
申请日：2024-09-23
Applicant: 华侨大学
IPC: G06V10/98 , G06N3/043 , G06N3/0464 , G06V10/776 , G06V10/82
Abstract: 本发明公开了一种基于分层时空感知的屏幕内容视频质量评价方法及装置，涉及视频评价领域，包括：提取屏幕内容视频中的若干个碎片化视频和若干个关键帧并输入经训练的屏幕内容视频质量评价模型，每个关键帧输入显著性计算模块筛选出若干个显著视频块，每个显著视频块输入双通道卷积神经网络，得到每个阶段的多层特征并输入块级质量评估模块，经过空间门特征增强模块，得到每个阶段的增强特征并输入块级质量聚合模块，得到每个视频块的块级质量分数；采用自适应加权策略计算得到空域感知质量分数；碎片化视频输入时域感知质量评估支路，得到时域感知质量分数，两者结合计算得到屏幕内容视频的质量分数，解决现有视频质量评价方法可靠性差的问题。
-
公开(公告)号：CN118469876B
公开(公告)日：2024-10-01
申请号：CN202410912771.1
申请日：2024-07-09
Applicant: 华侨大学
IPC: G06T5/77 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06T5/60
Abstract: 本发明公开了一种基于强感知Transformer架构的缺损视频修复方法及系统，涉及视频处理技术领域，方法包括以下步骤：特征提取模块接收待修复的缺损视频帧序列，采用卷积神经网络对视频帧进行特征提取，输出第一特征；强感知Transformer模块接收第一特征，采用交叉堆叠的局部感知Transformer和全局感知Transformer结构对第一特征进行纹理信息建模和结构信息建模，输出第二特征；重构模块接收第二特征，采用反卷积层进行视频帧重建，输出修复后视频帧序列。本发明采用交叉堆叠的局部感知Transformer和全局感知Transformer进行纹理信息和结构信息建模，有效解决现阶段缺损视频修复方法中存在修复区域缺乏细节纹理、全局结构与局部纹理不匹配的问题，实现更好的修复效果。
-
-
-
-
-
-
-
-
-
Search Results
50
records
(took 0.049 seconds)
