基于循环仿射变换的CLIP文本到图像合成方法

    公开(公告)号:CN118967877A

    公开(公告)日:2024-11-15

    申请号:CN202410637717.0

    申请日:2024-05-22

    Inventor: 林承德 陆锡俊

    Abstract: 本发明涉及图像合成方法技术领域。本发明涉及基于循环仿射变换的CLIP文本到图像合成方法。其包括将条件仿射变换模块和循环神经网络进行建立循环仿射变换模块以确保不同层可以获取全局信息;在模型之中引入注意力机制,对循环神经网络信息遗忘的特点进行抑制,本发明通过;CLIP可以利用自然语言文本描述作为输入,直接生成与之相关的图像,这种基于语义的图像合成方式更加直观和灵活,用户可以自由地描述想要生成的图像内容,同时具有强大的跨模态感知能力,可以很好地捕捉文本和图像之间的语义关联,这种跨模态感知可以用于引导图像生成,生成出更加符合文本描述的图像。

Patent Agency Ranking