公开(公告)号：CN119784576B

公开(公告)日：2025-05-16

申请号：CN202510279546.3

申请日：2025-03-11

Applicant: 南昌大学 ,  宜春学院

Inventor： 周崟涛 ,  庞孟 ,  黄伟 ,  肖敏华 ,  李正宇 ,  黄静

IPC: G06T3/04 ,  G06V40/16 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06N3/0455

Abstract: 本申请属于图像处理技术领域，公开了基于扩散模型和面部关键点的面部表情迁移方法及系统，该方法包括：获取包括源人脸关键点、目标人脸图像、表情迁移结果的训练样本对；采用Swin Transformer模块替换原始稳定扩散模型的文本编码器，得到改进后的稳定扩散模型；根据改进后的稳定扩散模型的预训练神经网络块，拷贝得到副本网络块，在副本网络块加入零卷积层，得到ControlNet架构；根据改进后的稳定扩散模型和ControlNet架构搭建表情迁移模型；基于训练样本对，使用控制损失函数和依赖时间步长的身份保持损失函数训练表情迁移模型，以生成保留身份特征的表情迁移结果。该方法能够将源人脸图像的面部表情迁移至不同表情的目标人脸的同时保留目标人脸的身份信息。

公开(公告)号：CN119784576A

公开(公告)日：2025-04-08

申请号：CN202510279546.3

申请日：2025-03-11

Applicant: 南昌大学 ,  宜春学院

Inventor： 周崟涛 ,  庞孟 ,  黄伟 ,  肖敏华 ,  李正宇 ,  黄静

IPC: G06T3/04 ,  G06V40/16 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06N3/0455

Abstract: 本申请属于图像处理技术领域，公开了基于扩散模型和面部关键点的面部表情迁移方法及系统，该方法包括：获取包括源人脸关键点、目标人脸图像、表情迁移结果的训练样本对；采用Swin Transformer模块替换原始稳定扩散模型的文本编码器，得到改进后的稳定扩散模型；根据改进后的稳定扩散模型的预训练神经网络块，拷贝得到副本网络块，在副本网络块加入零卷积层，得到ControlNet架构；根据改进后的稳定扩散模型和ControlNet架构搭建表情迁移模型；基于训练样本对，使用控制损失函数和依赖时间步长的身份保持损失函数训练表情迁移模型，以生成保留身份特征的表情迁移结果。该方法能够将源人脸图像的面部表情迁移至不同表情的目标人脸的同时保留目标人脸的身份信息。

公开(公告)号：CN118629078B

公开(公告)日：2025-01-21

申请号：CN202410764541.5

申请日：2024-06-14

Applicant: 南昌大学

Inventor： 庞孟 ,  张文俊 ,  肖敏华 ,  伍军云 ,  丁峰

IPC: G06V40/16 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/047 ,  G06N3/0455 ,  G06T11/00

Abstract: 本发明涉及数据处理技术领域，特别涉及一种基于VAE‑GAN框架的多模态人脸识别与原型重建方法，旨在解决多模态情况下的人脸识别问题，其中注册人脸来自域A，而待检索目标人脸可能涵盖域A、域B和域C。同时，该方法具备多模态人脸原型重建功能，即接受“污染”人脸数据(来自域A、域B和域C)，并能够根据需求重建其在特定域(域A、域B或域C)中的脸部原型图像。本发明可提升人脸识别系统的安全性和适用范围。

公开(公告)号：CN118629078A

公开(公告)日：2024-09-10

申请号：CN202410764541.5

申请日：2024-06-14

Applicant: 南昌大学

Inventor： 庞孟 ,  张文俊 ,  肖敏华 ,  伍军云 ,  丁峰

IPC: G06V40/16 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/047 ,  G06N3/0455 ,  G06T11/00

Abstract: 本发明涉及数据处理技术领域，特别涉及一种基于VAE‑GAN框架的多模态人脸识别与原型重建方法，旨在解决多模态情况下的人脸识别问题，其中注册人脸来自域A，而待检索目标人脸可能涵盖域A、域B和域C。同时，该方法具备多模态人脸原型重建功能，即接受“污染”人脸数据(来自域A、域B和域C)，并能够根据需求重建其在特定域(域A、域B或域C)中的脸部原型图像。本发明可提升人脸识别系统的安全性和适用范围。