公开(公告)号：CN119941935A

公开(公告)日：2025-05-06

申请号：CN202411721873.1

申请日：2024-11-28

Applicant: 安徽大学

Inventor： 牛冠宸 ,  陈东旭 ,  李爽爽 ,  李杰 ,  杨鹏兴 ,  邬文杰

IPC: G06T13/40 ,  G06T15/55 ,  G06V20/40 ,  G06V10/82 ,  G06N3/0499 ,  G06N3/096 ,  G06N3/0985

Abstract: 本发明公开了一种基于辐射光场的虚拟数字人生成算法系统，包括：数据集获取单元，用于获取并预处理视频数据，包含：视频数据获取模块，从外部设备获取时长为几分钟的视频数据，该模块支持多种视频格式，确保数据来源广泛；数据预处理模块，将视频数据按80％训练集、20％测试集切分，利用opengl或开源视角提取模型提取相机视角，从视频中提取音频序列并保存为WAV格式，对背景图进行裁剪、归一化等预处理操作，通过独特的NLDF网络架构和知识精馏技术，能够生成具有高视觉质量的3D说话人，其生成的面部表情和口型与真实说话人高度相似，在细节表现上更加逼真，如准确的眨眼动作捕捉等。