公开(公告)号：CN117058308A

公开(公告)日：2023-11-14

申请号：CN202310818342.3

申请日：2023-07-05

Applicant: 华南理工大学 ,  人工智能与数字经济广东省实验室(广州)

Inventor： 李乐民 ,  徐向民 ,  储昭结 ,  蓝屹林 ,  邢晓芬

IPC: G06T17/00 ,  G06V40/16 ,  G06T15/04 ,  G06N3/084

Abstract: 本发明公开了一种化妆人脸三维重建的方法。本发明化妆人脸三维重建的方法包括步骤获取化妆人脸图像，根据化妆人脸图像提取图像参数，对带妆容的人脸进行三维人脸重建；将化妆人脸图像进行妆容去除，得到卸妆的人脸图像；对卸妆后的人脸图像进行三维人脸重建训练人脸编码器、特征提取网络、妆容迁移模块；使用经过训练后的人脸编码器、特征提取网络、妆容迁移模块，对新输入的带妆容人脸图像进行人脸三维重建。本发明能够在不卸妆的情况下完成对人脸的三维重建。

公开(公告)号：CN117115316A

公开(公告)日：2023-11-24

申请号：CN202310924232.5

申请日：2023-07-26

Applicant: 华南理工大学

Inventor： 蓝屹林 ,  储昭结 ,  邢晓芬 ,  李乐民 ,  徐向民

IPC: G06T13/40 ,  G06N3/045 ,  G10L17/02 ,  G10L17/04

Abstract: 本发明公开了一种基于多层级语音特征的语音驱动三维人脸动画方法，包括以下步骤：获取原始音频文件以及对应的三维人脸动画样本，划分为训练集和测试集；根据语音特性将原始音频文件预处理，提取出多个不同层级的语音特征并加以融合：建立语音跨模态驱动三维人脸动画整体模型，训练语音跨模态驱动三维人脸动画整体模型以进行自回归预测三维人脸动画任务；根据测试集样本衡量语音跨模态驱动三维人脸动画整体模型的性能，并获取性能最好的模型；将实际环境中的语音样本输入性能最好的模型，输出指定风格的三维人脸动画。本发明增加了生成的三维虚拟数字人脸真实性以及丰富数字人面部运动的表现力。

公开(公告)号：CN116912901A

公开(公告)日：2023-10-20

申请号：CN202310655484.2

申请日：2023-06-05

Applicant: 华南理工大学

Inventor： 徐向民 ,  李乐民 ,  储昭结 ,  蓝屹林 ,  邢晓芬

IPC: G06V40/16 ,  G06V10/14 ,  G06T17/00 ,  G06T15/04 ,  G06T15/50 ,  G06T5/50 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明公开了一种三维人脸数据采集设备，包括：发射装置、图像采集装置和偏振调整装置，发射装置用于向被采集对象发射光，图像采集装置用于采集偏振数据以用于三维重建，偏振调整装置用于调整偏振光的偏振方向；发射装置包括光源模组，光源模组发出用于偏振的非偏振白光，供偏振调整装置使用；图像采集装置包括两彩色相机，第一彩色相机用于采集交叉偏振数据，第二彩色相机用于采集平行偏振数据；偏振调整装置包括起偏方向调整装置和检偏方向调整装置；起偏方向调整装置与发射装置共同使用，形成起偏器，白光经过起偏器从非偏振光转换为非偏振光；检偏方向调整装置与图像采集装置共同使用，形成检偏器，调整检偏器的方向，采集对应方向的偏振光。

公开(公告)号：CN119579742A

公开(公告)日：2025-03-07

申请号：CN202411722697.3

申请日：2024-11-28

Applicant: 华南理工大学

Inventor： 储昭结 ,  徐向民 ,  邢晓芬 ,  郭锴凌

IPC: G06T13/40 ,  G10L21/10 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开了一种基于面部肌肉联动的语音驱动面部动画模拟方法，属于人工智能领域，包括步骤：S1，构建PPMF编码器；S2，构建基于FDCP的解码器来解码PPMF提供的FP特征，以获取面部动画；S3，训练语音驱动的3D人脸动画框架DCPTalk；S4，模型优化；S5，模型定量评价。本发明提出了DCPTalk框架，并基于面部肌肉群的联动特性，提出了Mouth2Face。嘴部运动与语音信号相关性强，很容易与声道动力学合成。为了进一步增强面部运动的细节，采用Refine Decoder模拟表层的皮肤形变去细化面部动画。将固有的身体特征与面部肌肉群运动相关的身体特性嵌入到Mouth2Face，构建个性化的面部肌肉控制系统，同时利用说话风格调制外部的驱动信号。通过定性和定量实验以及用户研究表明，DCPTalk优于现有的最先进的方法。

公开(公告)号：CN117671133A

公开(公告)日：2024-03-08

申请号：CN202311462219.9

申请日：2023-11-06

Applicant: 华南理工大学

Inventor： 刘琦 ,  赵宝柱 ,  储昭结 ,  李乐民 ,  邢晓芬

IPC: G06T17/00 ,  G06T7/80 ,  G06T7/10 ,  G06N3/08

Abstract: 本发明公开了一种基于单目RGB图像去遮挡下的双手3D重建方法，包括：使用双手分离框架对输入图片进行双手关键点检测和分割，针对分割出的左、右手3D图像分别进行MANO模型参数估计，并通过双手之间的相对位置关系将两个手部模型放入同一个坐标系下，生成双手参数化模型；利用双手参数化模型作为先验信息，在已知视图对应相机内参的情况下，使用对应关键点相对位置转换方法获得每个视图所对应的相机外参；采用高效率神经辐射场渲染采样点采集策略；将取样点坐标与视图方向输入到神经辐射场中进行训练，对网络参数进行优化,生成新的视角的渲染图像，且与输入图像一致。本方法能准确保留重建，提供一种完善连贯的三维模型。