公开(公告)号：CN113034370A

公开(公告)日：2021-06-25

申请号：CN202110580583.X

申请日：2021-05-26

Applicant: 之江实验室

Inventor： 朱世强 ,  李特 ,  操晓春 ,  胡晓彬 ,  沈若邻 ,  任文琦

IPC: G06T3/40 ,  G06T15/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种结合3D脸部结构先验的人脸超分辨方法，该方法能够显式得结合3D脸部先验，抓取到高清的脸部结构信息，为网络提供一些基于脸部属性的3D拓扑信息，例如身份、表情、纹理、亮度和脸部姿态。本发明提出了一个深度学习网络框架，框架总体包括两个分支：上半部分分支包含一个ResNet‑50网络来从输入图像中挖掘人脸3D信息，并将其结合重建成一个脸部渲染结构；下半部分分支利用空域特征转换层，结合3D信息及脸部渲染结构作为3D先验，利用空间注意力机制及通道注意力机制实现脸部超分辨；这种先验能够嵌入任何网络，而且十分有效的提高性能，加速收敛。