公开(公告)号：CN118212671A

公开(公告)日：2024-06-18

申请号：CN202410247832.7

申请日：2024-03-05

Applicant: 广东工业大学

Inventor： 陈添水 ,  朱宇杰 ,  林坚满 ,  杨志景

IPC: G06V40/16 ,  G06V10/82 ,  G06T11/00 ,  G06N3/0464 ,  G06N3/08

Abstract: 本公开了一种基于空间相关性模型的人脸表情操纵视频生成方法与系统，本发明通过构建空间相关性学习模型对前后生成的视频的质量进行定性和定量比较；通过在现有的人脸表情操纵技术中引入额外的监督信号，提高视频的质量。该方法采用全新的监督模块，能够减少视频局部失真，提高用户观感。

公开(公告)号：CN118116055A

公开(公告)日：2024-05-31

申请号：CN202410274399.6

申请日：2024-03-11

Applicant: 广东工业大学

Inventor： 陈添水 ,  徐志华 ,  朱宇杰 ,  彭思愿 ,  杨志景

IPC: G06V40/16 ,  G06V20/40 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/0464

Abstract: 本发明公开了一种面部表情操控方法及系统，包括以下步骤：S1、对待编辑的人物视频素材进行预处理，获取人物视频素材中的音频度量、视觉度量和跨模态信息度量。S2、对跨模态信息学习网络进行训练，得到训练后的跨模态信息度量；采用训练后的跨模态信息度量、音频度量和视觉度量构建监督数据库。S3、采用监督数据库对表情迁移网络和重构渲染网络进行训练。S4、利用训练好的表情迁移网络和重构渲染网络进行面部表情操控。本申请与传统技术相比，在保证人脸表情编辑效果的同时也确保了原始人脸视频中与语音内容相关的动作能够完整地保留，解决了画音不匹配的问题，使编辑后的视频连贯完整。