公开(公告)号：CN115527216B

公开(公告)日：2023-05-23

申请号：CN202211399263.5

申请日：2022-11-09

Applicant: 中国矿业大学(北京)

Inventor： 高文超 ,  周思杰 ,  张杰 ,  陈诗雨 ,  任圣博

IPC: G06V30/19 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0475 ,  G06N3/08

Abstract: 本发明公开了一种基于调制融合和对比学习生成对抗网络的文本生成图像方法，包括以下步骤：建立调制融合模块，设计成了残差结构，包含主路的两个文本特征变换层、两个卷积层和支路的一个卷积层；建立生成器，由一个映射网络、八个调制融合模块，六个上采样模块和一个卷积层组成。建立判断器网络结构判别器由一个特征提取器和三个分支组成的，三个分支包括：语义重构分支、无条件损失分支和条件损失分支。建立对比学习网络进行对比损失；优化损失函数，损失函数包括生成对抗损失、语义重构损失。本发明可以生成更加符合文本语义的图像，对于图像的真实度和语义一致性都有提升，对于图像的生成质量有了进一步提升。

公开(公告)号：CN115527216A

公开(公告)日：2022-12-27

申请号：CN202211399263.5

申请日：2022-11-09

Applicant: 中国矿业大学(北京)

Inventor： 高文超 ,  周思杰 ,  张杰 ,  陈诗雨 ,  任圣博

IPC: G06V30/19 ,  G06V10/82 ,  G06V10/80 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于调制融合和对比学习生成对抗网络的文本生成图像方法，包括以下步骤：建立调制融合模块，设计成了残差结构，包含主路的两个文本特征变换层、两个卷积层和支路的一个卷积层；建立生成器，由一个映射网络、八个调制融合模块，六个上采样模块和一个卷积层组成。建立判断器网络结构判别器由一个特征提取器和三个分支组成的，三个分支包括：语义重构分支、无条件损失分支和条件损失分支。建立对比学习网络进行对比损失；优化损失函数，损失函数包括生成对抗损失、语义重构损失。本发明可以生成更加符合文本语义的图像，对于图像的真实度和语义一致性都有提升，对于图像的生成质量有了进一步提升。