-
公开(公告)号:CN115830164A
公开(公告)日:2023-03-21
申请号:CN202211474661.9
申请日:2022-11-23
Applicant: 南京信息工程大学
Abstract: 本发明公开了基于生成对抗网络的文本生成图像方法,将句子信息通过文本编码器,得到单词特征和句子特征,将噪声向量和句子特征作为初始阶段的输入,在初始阶段经过通道仿射变换,在每一次之后加入激活函数,得到初始中间层输出,将初始中间层输出通过三通道卷积生成出低分辨率的图像,再将图像和句子特征作为初始鉴别器的输入,利用初始鉴别器计算图像是否匹配文本;利用得到的初始中间层输出和单词特征作为第二阶段的输入,步骤同上;最后一个生成器生成的图像还经过图像编码器得到图像特征,和单词特征拥有相同的表示空间,用来计算图像文本相似度,作为生成器的损失;在每阶段鉴别器中加入空间注意力,增强文本图像语义一致性。