公开(公告)号：CN119579738A

公开(公告)日：2025-03-07

申请号：CN202411619375.6

申请日：2024-11-13

Applicant: 鹏城实验室

Inventor： 代菊 ,  赵鑫 ,  李皓 ,  王昊飞 ,  郝爱民

IPC: G06T13/40

Abstract: 本申请涉及3D面部运动生成技术领域，公开了一种面部运动生成方法、装置、设备及存储介质，该方法包括：响应于用户输入的多媒体数据和情绪数据，根据所述多媒体数据确定语音序列；获取面部运动数据，并根据所述面部运动数据进行加噪，得到面部噪声运动；将所述语音序列、所述面部噪声运动以及所述情绪数据输入至面部运动生成模型，得到面部表情视频，所述面部表情视频包括单一情绪的面部表情视频或具有连续情绪变换的面部表情视频。本申请能够生成包含多样且逼真的面部表情，实现灵活且连续的情绪控制。

公开(公告)号：CN118474453A

公开(公告)日：2024-08-09

申请号：CN202410604440.1

申请日：2024-05-15

Applicant: 鹏城实验室

Inventor： 代菊 ,  李皓 ,  潘俊君 ,  郁胜 ,  梁艳杰 ,  高健

IPC: H04N21/4402 ,  G06V40/16 ,  G06V10/774 ,  G06V10/82 ,  H04N21/439 ,  H04N19/20 ,  G10L15/25

Abstract: 本申请公开了一种人脸视频生成方法、设备及存储介质，涉及计算机视觉技术领域，所述的方法包括：将下采样后的低分辨率的图像和音频输入至面部运动生成模块中，生成低分辨率的面部运动图像序列；将低分辨率的面部运动图像序列输入至具有层次结构的面部细节恢复模块中恢复不同尺度的面部细节信息，生成高分辨的图片序列；将输入音频序列和高分辨的图片序列进行合并，生成高分辨率的人脸视频。本申请中通过给定的音频信息和参考图像序列对低分辨率的面部运动信息进行建模，然后逐步恢复高分辨率的面部细节，利用较少的参数量生成高分辨率的视频，具有较强的鲁棒性，降低了在高分辨率的人脸视频生成过程中模型的复杂度和训练难度。

公开(公告)号：CN116309688A

公开(公告)日：2023-06-23

申请号：CN202310258871.2

申请日：2023-03-08

Applicant: 鹏城实验室

Inventor： 李皓 ,  代菊 ,  潘俊君

IPC: G06T7/207 ,  G06N3/0455

Abstract: 本发明公开了一种人体运动预测方法、装置、智能设备及存储介质，所述方法包括：获取目标人体的运动学信息，对所述运动学信息进行预设简化动力学运算以得到所述目标人体的动力学信息；将运动学信息和动力学信息输入至神经网络编码器以分别得到运动学时空特征和动力学时空特征；将运动学时空特征和动力学时空特征输入至神经网络解码器以得到目标人体的人体运动预测结果。通过本发明中的人体运动预测方法，将运动学信息和动力学信息对人体运动的表达进行互补和耦合，从不同的角度来全面描述人体运动，能够对人体在未来一定时间内的运动姿态作出更为准确且时间更长的预测。

公开(公告)号：CN116129015A

公开(公告)日：2023-05-16

申请号：CN202310245216.3

申请日：2023-03-02

Applicant: 鹏城实验室

Inventor： 代菊 ,  李皓 ,  潘俊君

IPC: G06T13/40 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明公开了一种基于神经网络的复杂运动关键帧动画补全方法及系统。本发明通过给定不同脚步接触信息实现精确的脚步控制，为复杂动作的关键帧动画补全提供了稳定且高质量的方法，可以消除动作生成过程中的滑步问题，并且具有较强的鲁棒性。解决了现有技术中利用深度学习的方式执行复杂动作生成任务，存在严重的滑步和残影问题，导致后期需要耗费大量人力物力进行动作修正的问题。