公开(公告)号：CN119941925A

公开(公告)日：2025-05-06

申请号：CN202411995433.5

申请日：2024-12-31

Applicant: 喀什地区电子信息产业技术研究院

Inventor： 刘胤 ,  王治国 ,  王春雨 ,  殷光强 ,  朱瑞 ,  殷康宁 ,  肖林

IPC: G06T11/60 ,  G06V40/16 ,  G06T3/02 ,  G06N3/045 ,  G06N3/094 ,  G06N3/0475 ,  G06V10/82 ,  G06N3/084

Abstract: 本发明属于图像处理技术领域，公开了一种基于多模态融合的文本驱动人脸编辑方法，以待处理源图像和文本提示作为输入；通过映射网络将初始隐编码映射到向量空间得到中间隐编码；将中间隐编码和源图像对应的隐编码分别输入生成器，得到第一生成图像和第二生成图像；利用文本损失、风格损失和人脸损失构建总损失，并利用总损失对生成图像隐编码进行优化，并生成最终的人脸图像。本发明对StyleGAN语义网络进行改进，并通过CLIP预训练模型对齐文本与图像特征，同时利用人脸识别网络对齐编辑前后人脸图像特征，以生成高质量、效果佳的人脸编辑图像，并实现属性解耦和保持人脸身份一致。

公开(公告)号：CN118628865A

公开(公告)日：2024-09-10

申请号：CN202410758667.1

申请日：2024-06-13

Applicant: 喀什地区电子信息产业技术研究院

Inventor： 张嘉 ,  王治国 ,  殷光强 ,  朱瑞 ,  殷康宁 ,  刘胤

IPC: G06V10/774 ,  G06V10/82 ,  G06V10/80 ,  G06V40/16 ,  G06V10/44 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/0455

Abstract: 本发明属于人工智能安全技术领域，公开了一种基于多对抗块的人脸对抗样本生成系统及训练方法，该系统包括：人脸关键特征点提取模块，用于对源图像的人脸关键特征点进行提取，得到人脸关键特征点坐标网格，确定出相应的目标攻击区域；并利用人脸的眼部及三角区的指定区域周围的特征点坐标生成相应的0‑1二进制掩膜；生成器，用于依据目标攻击区域生成相应的生成图像；融合模块，首先基于生成图像和二进制掩膜相乘生成多对抗块，然后结合源图像融合得到最终的人脸对抗样本。通过本发明方向训练后的基于多对抗块的人脸对抗样本生成系统，不仅可以使生成的人脸对抗样本具有优秀的人脸自然度，还可以提升对抗样本的可迁移性。