公开(公告)号：CN118397679A

公开(公告)日：2024-07-26

申请号：CN202410545613.7

申请日：2024-05-06

Applicant: 华南理工大学

Inventor： 黄翰 ,  冯艳洁 ,  徐粤婷

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/82 ,  G06N3/08

Abstract: 本发明公开了一种基于微搜索的面部表情数据增广方法，包括以下步骤：对原始图像进行人脸检测，获取原始图像的人脸关键点，筛选表情相关的人脸关键点，构建原始图像的有效决策子集；利用差分进化算法对原始图像的有效决策子集进行搜索，获取增广图像的人脸关键点，构建增广图像的有效决策子集；对原始图像进行三角剖分，根据原始图像的有效决策子集和增广图像的有效决策子集进行图像变换，获得增广图像；计算增广图像的适应值，根据适应值调整搜索参数，对原始图像的有效决策子集进行迭代搜索，输出最优增广图像。本发明通过将最优增广图像对应的增广数据集并入原始图像对应的面部表情原数据集，能够实现简单、快速和高效的面部表情多样数据增广。

公开(公告)号：CN118446883A

公开(公告)日：2024-08-06

申请号：CN202410563648.3

申请日：2024-05-08

Applicant: 华南理工大学

Inventor： 黄翰 ,  罗旺宗 ,  徐粤婷 ,  杨威

IPC: G06T3/04 ,  G06N3/006 ,  G06V40/16 ,  G06V10/46

Abstract: 本发明公开了一种数字人脸的表情迁移方法、系统、装置及存储介质，其中方法包括：提取源图像的人脸关键点，根据人脸关键点初始化一个种群；利用约束优化算法对人脸关键点种群中的个体进行迭代更新，评估个体的优劣，得到新的人脸关键点坐标；对源图像进行三角剖分，利用新旧人脸关键点的坐标获得变换矩阵，变换三角形网格位置，获得迁移后的表情图像；对迁移后的表情图像和目标图像进行对比和评估，如果评估结果达到预设条件，停止迭代，输出表情迁移结果；否则，根据当前迭代结果筛选出新一代种群，并返回执行对种群中的个体进行迭代更新的步骤。本发明能够有效地提高迁移结果的精度和自然性，可广泛应用于计算机视觉图像处理领域。

公开(公告)号：CN117915163A

公开(公告)日：2024-04-19

申请号：CN202410047066.X

申请日：2024-01-12

Applicant: 华南理工大学

Inventor： 黄翰 ,  徐粤婷 ,  李刚 ,  郑曙滨 ,  郑小辉 ,  王子龙 ,  黎姿 ,  曾梓峰 ,  冯艳洁 ,  罗旺宗

IPC: H04N21/81 ,  H04N21/4402 ,  G10L21/12 ,  G10L21/10 ,  G10L19/16 ,  G10L25/18

Abstract: 本发明公开了一种数字虚拟人自动化制作方法，包括以下步骤：对视频素材进行人像抠图，进行动作识别和表情识别，构建动作、表情视频库；对讲稿内容进行文本自动分句得到子句序列，进行动作分析和表情分析，得到动作、表情标签序列；根据标签序列选取动作视频和表情视频，构成动作、表情视频序列，进行动作表情合成，得到合成视频序列；对音频素材进行语音特征提取，构建语音特征库，将子句序列转换为音频序列，将音频序列转换为克隆音频序列；根据克隆音频序列的音频长度确定合成视频序列的视频长度；将合成视频序列与克隆音频序列进行口型同步，得到虚拟人视频序列，对虚拟人视频序列进行拼接，添加背景进行渲染，生成数字虚拟人视频。

公开(公告)号：CN118612490A

公开(公告)日：2024-09-06

申请号：CN202410640349.5

申请日：2024-05-22

Applicant: 华南理工大学

Inventor： 黄翰 ,  曾梓峰 ,  徐粤婷 ,  李刚

IPC: H04N21/43 ,  H04N21/439 ,  H04N21/4402 ,  H04N21/44 ,  G10L21/055

Abstract: 本发明公开了一种数字人口型的自动对齐方法，包括以下步骤：获取人物说话视频和驱动音频，分别对人物说话视频和驱动音频进行预处理，得到人物人脸图像序列和语音音频序列；根据人脸图像序列初始化参考帧，获得参考人脸序列，掩膜人物半脸，掩膜后人脸与参考人脸拼接得到拼接图像序列；将拼接图像序列输入图像编码器，得到人脸图像特征向量，将语音音频序列输入音频编码器，得到音频语义特征向量；对人物的人脸图像特征向量和音频语义特征向量进行拼接融合，将拼接融合特征输入生成器，生成人物口型同步视频；根据评估指标和约束条件，评估口型同步视频质量，使用约束优化算法对参考人脸序列进行迭代优化，直至生成最佳口型同步视频。

公开(公告)号：CN118016086A

公开(公告)日：2024-05-10

申请号：CN202410011898.6

申请日：2024-01-02

Applicant: 华南理工大学

Inventor： 黄翰 ,  黎姿 ,  徐粤婷

IPC: G10L21/013 ,  G10L19/16

Abstract: 本发明公开了一种基于数据增广的语音克隆方法、装置及介质，涉及计算机软件工程的语音合成技术。其中方法包括：S1、对参考语音和源语音做特征提取，并针对参考语音特征库做特征提取，得到关键特征；S2、对关键特征做数据增广；S3、对源语音特征集合和参考语音特征库做相关性分析；S4、将参考特征集合代替源语音特征序列，实现语音特征的转换；S5、构建声码器，将多条参考语音当作源语音重复步骤S2‑S4，将语音特征和原始语音作为输入对声码器进行训练；S6、将待转换语音重复步骤S1‑S3，得到转换后语音特征，输入训练后的声码器，声码器推理得到转换后语音。本发明适用于单样本语音克隆，可以应用于实际的语音克隆工作环境。