-
公开(公告)号:CN116228979A
公开(公告)日:2023-06-06
申请号:CN202310163900.7
申请日:2023-02-24
Applicant: 上海大学
IPC: G06T17/00 , G06T15/08 , G06T19/20 , G06N3/0442 , G10L21/10
Abstract: 本发明涉及一种语音驱动的可编辑人脸重演方法、装置及存储介质,其中方法包括:对输入视频进行人脸三维重建,合成人脸三维网格模型;训练LSTM网络,构建音频到人脸表情的跨模态映射;构建可编辑动态神经辐射场,回归采样点颜色与密度,最后通过体绘制生成重演结果。针对现有方法无法对语音驱动人脸重演进行个性化编辑的问题,本发明通过构建可编辑动态神经辐射场模型,将动态人脸生成问题转化为规范空间中静态模板人脸的采样问题,通过向模型顶点中锚定几何潜码与纹理潜码的方式,实现了形状和外观的分别解耦,进而实现对人脸的几何和纹理的自由编辑。