三维人脸重建方法、设备、存储介质及装置

    公开(公告)号:CN117635838A

    公开(公告)日:2024-03-01

    申请号:CN202311651131.1

    申请日:2023-12-04

    Abstract: 本发明属于人工智能技术领域,公开了一种三维人脸重建方法、设备、存储介质及装置,本发明通过将待识别照片帧对应的三维地标与预设三维可变人脸模型进行拟合,获得人脸粗参数;基于可微渲染器对人脸粗参数进行参数优化,获得优化后的人脸参数;基于低分辨率局部金字塔纹理基对优化后的人脸参数进行多视图纹理融合,获得面部不同局部区域的局部拟合纹理参数;基于面部不同局部区域的局部拟合纹理参数重建三维人脸,获得目标三维人脸,相较于相关重建方案不能精准确定人脸纹理特征,导致重建效果差。本发明通过构建局部纹理金字塔,逐尺度融合不同视角的纹理信息,用低分辨输入指导高清纹理图生成,提高了生成人脸的质量和保真度。

    基于多模态融合的人脸预测方法及相关设备

    公开(公告)号:CN114463825A

    公开(公告)日:2022-05-10

    申请号:CN202210363355.1

    申请日:2022-04-08

    Abstract: 本公开提供一种基于多模态融合的人脸预测方法及相关设备。该方法包括:获取带有纹理的3D人脸信息数据,将其划分为点云坐标和纹理图像,并将点云坐标处理成几何特征向量、纹理图像处理成纹理特征向量;将所述几何特征向量与所述纹理特征向量进行平衡处理后两两拼接,得到多个无序词向量;将多个所述无序词向量分别输入到多个预先构建的Transformer融合模型进行融合,得到多个融合特征向量;将多个所述融合特征向量输入至经过预训练的多层感知机进行预测,输出与所述3D人脸信息数据对应的预测结果。本公开提供的一种基于多模态融合的人脸预测方法及相关设备,将点云的空间几何信息与贴图的纹理图像信息融合,有效提高了人脸预测的精度。

    基于多模态融合的人脸预测方法及相关设备

    公开(公告)号:CN114463825B

    公开(公告)日:2022-07-15

    申请号:CN202210363355.1

    申请日:2022-04-08

    Abstract: 本公开提供一种基于多模态融合的人脸预测方法及相关设备。该方法包括:获取带有纹理的3D人脸信息数据,将其划分为点云坐标和纹理图像,并将点云坐标处理成几何特征向量、纹理图像处理成纹理特征向量;将所述几何特征向量与所述纹理特征向量进行平衡处理后两两拼接,得到多个无序词向量;将多个所述无序词向量分别输入到多个预先构建的Transformer融合模型进行融合,得到多个融合特征向量;将多个所述融合特征向量输入至经过预训练的多层感知机进行预测,输出与所述3D人脸信息数据对应的预测结果。本公开提供的一种基于多模态融合的人脸预测方法及相关设备,将点云的空间几何信息与贴图的纹理图像信息融合,有效提高了人脸预测的精度。

Patent Agency Ranking