公开(公告)号：CN119722839A

公开(公告)日：2025-03-28

申请号：CN202411763238.X

申请日：2024-12-03

Applicant: 杭州电子科技大学

Inventor： 周家辉 ,  杨冰 ,  姚金良 ,  黄孝喜 ,  余承昊

IPC: G06T11/00 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明公开了一种基于语义对齐和文本融合的文本生成图像方法，其分别提取真实图像与生成图像的语义特征，通过判别器中的语义对齐模块对两者的高层语义进行比对和调整，并根据判别器的输出结果对生成器的参数进行更新，确保生成图像在语义层面和细节处理与真实图像保持一致，弥补文本描述的不足，从而提升了整个生成模型的表现；同时，本发明通过星模块卷积层能够更加全面地捕捉文本描述中隐含的细微差异，从而显著增强了图像的细节表现力和生成质量；此外，本发明在生成器添加可变形卷积，有效地保留了复杂的细节信息，使得生成图像在视觉上更加真实，且增强了模型在不同情境和风格下的适应性和一致性。