-
公开(公告)号:CN112634136A
公开(公告)日:2021-04-09
申请号:CN202011556673.7
申请日:2020-12-24
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于图像特征快速拼接的图像超分辨率方法及其系统,该系统包括多级快速的大视野图像信息提取模块、图像特征快速拼接模块、图像上采样重建模块以及对抗神经网络判别器。其中,所述多级快速的大视野图像信息提取模块从图像中快速提取大视野的信息;所述图像特征快速拼接模块将各级视野的图像信息以不均衡加权的方式整合起来;所述图像上采样重建模块使用亚像素卷积的方法从图像信息中重建出超分辨率图像;所述对抗神经网络判别器为算法模型的训练提供对抗损失。本发明将图像下采样的卷积计算引入到图像超分辨率重建的问题中,提升了图像超分辨率重建的计算速度和精度,具有广阔的应用前景。
-
公开(公告)号:CN111402128A
公开(公告)日:2020-07-10
申请号:CN202010108622.1
申请日:2020-02-21
Applicant: 华南理工大学 , 广州梦辉机器人有限公司
Abstract: 本发明公开了一种基于多尺度金字塔网络的图像超分辨率重建方法,包括以下步骤:S1、对输入图像进行浅层特征提取;S2、将浅层特征通过K个多尺度残差模块进行特征融合以及特征增强,得到更丰富的深层次特征;S3、使用转置卷积对深层次特征进行上采样;S4、利用残差学习对图像进行重建;S5、将重建后的图像作为当前金字塔网络的输出,同时作为下一层金字塔网络的输入,继续采用步骤S1-S4进行训练,以得到更高分辨率的图像。本发明采用了多尺度残差模块,对特征进行融合以得到更丰富的特征;同时采用拉普拉斯金字塔网络,以逐步上采样重建高分辨率图像;通过本发明的方法,可以重建出细节更丰富、质量更高的图像。
-
公开(公告)号:CN112634136B
公开(公告)日:2023-05-23
申请号:CN202011556673.7
申请日:2020-12-24
Applicant: 华南理工大学
IPC: G06T3/40 , G06T7/10 , G06N3/084 , G06N3/0464
Abstract: 本发明公开了一种基于图像特征快速拼接的图像超分辨率方法及其系统,该系统包括多级快速的大视野图像信息提取模块、图像特征快速拼接模块、图像上采样重建模块以及对抗神经网络判别器。其中,所述多级快速的大视野图像信息提取模块从图像中快速提取大视野的信息;所述图像特征快速拼接模块将各级视野的图像信息以不均衡加权的方式整合起来;所述图像上采样重建模块使用亚像素卷积的方法从图像信息中重建出超分辨率图像;所述对抗神经网络判别器为算法模型的训练提供对抗损失。本发明将图像下采样的卷积计算引入到图像超分辨率重建的问题中,提升了图像超分辨率重建的计算速度和精度,具有广阔的应用前景。
-
公开(公告)号:CN111246256B
公开(公告)日:2021-05-25
申请号:CN202010108302.6
申请日:2020-02-21
Applicant: 华南理工大学 , 广州梦辉机器人有限公司
IPC: H04N21/25 , H04N21/466 , G06F16/783 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于多模态视频内容和多任务学习的视频推荐方法,包括步骤:通过经预训练的模型提取短视频的视觉、音频、文本特征;采用注意力机制方法对视频多模态特征进行融合;采用深度游走方法学习用户社会关系的特征表示;提出基于注意力机制的深度神经网络模型学习多域特征表示;基于上述步骤生成的特征嵌入作为多任务模型的共享层,再分别通过多层感知机生成预测结果。本发明利用注意力机制结合用户特征对视频多模态特征进行融合,使得整个推荐更加丰富和具有个性化;同时,针对多域特征,考虑到交互特征在推荐学习中的重要性,提出一种基于注意力机制的深度神经网络模型丰富了高阶特征的学习,为用户提供更加精准的个性化视频推荐。
-
公开(公告)号:CN111246256A
公开(公告)日:2020-06-05
申请号:CN202010108302.6
申请日:2020-02-21
Applicant: 华南理工大学 , 广州梦辉机器人有限公司
IPC: H04N21/25 , H04N21/466 , G06F16/783 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于多模态视频内容和多任务学习的视频推荐方法,包括步骤:通过经预训练的模型提取短视频的视觉、音频、文本特征;采用注意力机制方法对视频多模态特征进行融合;采用深度游走方法学习用户社会关系的特征表示;提出基于注意力机制的深度神经网络模型学习多域特征表示;基于上述步骤生成的特征嵌入作为多任务模型的共享层,再分别通过多层感知机生成预测结果。本发明利用注意力机制结合用户特征对视频多模态特征进行融合,使得整个推荐更加丰富和具有个性化;同时,针对多域特征,考虑到交互特征在推荐学习中的重要性,提出一种基于注意力机制的深度神经网络模型丰富了高阶特征的学习,为用户提供更加精准的个性化视频推荐。
-
-
-
-