公开(公告)号：CN116188621A

公开(公告)日：2023-05-30

申请号：CN202211570345.1

申请日：2022-12-08

Applicant: 吉林大学

Inventor： 张爱琳 ,  吴春国 ,  刘桂霞 ,  张秀伊 ,  邱正中

IPC: G06T11/20 ,  G06T11/60 ,  G06N3/0464 ,  G06N3/044 ,  G06N3/0475 ,  G06N3/094 ,  G06F40/30 ,  G06V10/82 ,  G06V10/74

Abstract: 本发明适用于图像生成技术领域，提供了基于文本监督的双向数据流生成对抗网络图像生成方法，包括以下步骤：步骤一：输入文本，并对文本中的句子和单词进行双通道处理，形成了一种全局‑局部注意力机制，随后通过生成器生成图像；步骤二：将步骤一中生成的图像通过卷积神经网络重新转换为新文本，并将新文本与图像分别经过文本编码器和图像编码器获得各自的嵌入表示向量，计算二者相似度；步骤三：依据步骤二中的相似度进行判断，再通过生成模型反向传播，更新潜在空间的嵌入表示向量，重复前向和后向传递直到收敛，得到最大相似度，最后输出最优图像，该方法能够提升由给定文本生成图像的真实性、细节性以及多样性，完成更复杂的图像生成任务。