公开(公告)号：CN119006662A

公开(公告)日：2024-11-22

申请号：CN202411179014.4

申请日：2024-08-27

Applicant: 东北大学秦皇岛分校

Inventor： 赵玉良 ,  周至诚

IPC: G06T11/60 ,  G06V40/16 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06F40/30 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/048

Abstract: 本发明公开了一种文本驱动的人脸图像编辑方法，属于AIGC技术领域。文本驱动的人脸编辑方法的实施包括：构建人脸属性概念字典；生成StyleGAN样式空间隐向量；利用CLIP编码器对人脸数据和属性字典进行编码，得到图像和文本隐向量特征及其均值；基于隐向量特征均值，通过凸优化算法构建人脸属性编码器；使用人脸属性编码器对输入图像进行编码，获得图像特征隐向量；构建损失函数，最小化随机成对图像间的隐向量差值和样式空间隐向量差值的距离，训练映射网络；利用训练好的映射网络对输入文本进行推理，得到样式空间编辑方向。本发明有效解决了文本驱动人脸编辑中人脸身份信息不一致的问题。该技术在AIGC时代展现出大语言模型驱动人脸图像编辑的广阔应用前景。