公开(公告)号：CN116824657A

公开(公告)日：2023-09-29

申请号：CN202310141536.4

申请日：2023-02-21

Applicant: 天津大学

Inventor： 曹兵 ,  王清和 ,  朱鹏飞 ,  胡清华 ,  赵佳鸣 ,  毕志伟 ,  亓国梁 ,  孙一铭 ,  高毓聪 ,  曹亚如

IPC: G06V40/16 ,  G06V10/82 ,  G06N3/042 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明公开一种基于多视图知识集成和频率一致性的人脸跨域翻译方法，将大型单域数据中的人脸知识共同引入到有限的跨域数据中。具体来说，一边将输入照片通过人脸解析网络提取特征后，级联至基于多视图知识集成模型的翻译网络中。另一边输入照片通过人脸识别网络提取人脸身份特征，级联后的特征与人脸身份特征计算KL损失从而起到身份一致监督，以增强生成的图像和真实图像之间的高低频率一致性。提出的频率一致性损失是一种通用的重建损失，可以灵活地应用于其他生成模型，提高模型对噪声的鲁棒性。

公开(公告)号：CN115937055A

公开(公告)日：2023-04-07

申请号：CN202211579296.8

申请日：2022-12-07

Applicant: 天津大学

Inventor： 曹兵 ,  毕志伟 ,  胡清华 ,  王清和 ,  亓国梁 ,  孙一铭 ,  高毓聪 ,  赵佳鸣 ,  曹亚如 ,  孙洋

IPC: G06T5/50 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明公布了一种基于模态一致性的多模态图像重建方法，步骤S1、构建基于生成对抗网络的多模态图像重建网络模型；步骤S2、利用多模态图像数据集训练多模态图像重建模型，该模型输入为同一对象缺失某一模态的多模态图像，通过生成器重建目标模态图像；将目标模态的真实图像和重建图像输入判别器中，训练判别器进行真假判别；将目标模态的真实图像输入判别器的分类分支，训练网络生成目标模态图像；将判别器提取的特征再输入解码器中，重建目标模态图像，构成重建约束；步骤S3、训练好的生成对抗网络作为重建网络，将同一对象缺失任一模态的多模态图像输入重建网络，输出目标模态重建图像。本发明生成的多模态图像具有更加真实和准确的细节。