公开(公告)号：CN119444899A

公开(公告)日：2025-02-14

申请号：CN202411503885.7

申请日：2024-10-25

Applicant: 南开大学

Inventor： 王亚星 ,  胡泰航 ,  李林轩 ,  程明明

IPC: G06T11/00 ,  G06F40/30 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于文生图技术领域，提供了基于令牌合并的免训练文生图语义绑定方法及系统，其技术方案为：对输入的提示文本进行标记化处理并编码得到文本嵌入；对文本嵌入分析，得到文本嵌入的耦合性和语义可加性；基于文本嵌入的耦合性和语义可加性构建得到复合令牌，同时，用不包含属性信息的结束令牌替换原始结束令牌；基于语义绑定损失和熵损失迭代更新复合令牌，基于更新后的复合令牌和替换后的结束令牌得到最终的文本嵌入；基于最终文本嵌入生成对应的图像。本发明方法在现有方法难以处理的涉及多个对象和属性的复杂场景中表现非常出色。

公开(公告)号：CN117251589A

公开(公告)日：2023-12-19

申请号：CN202310935657.6

申请日：2023-07-27

Applicant: 南开大学

Inventor： 李森茂 ,  王亚星 ,  程明明 ,  杨健

IPC: G06F16/58 ,  G06F16/33 ,  G06F40/30

Abstract: 本公开提供了基于文生图扩散模型的图像生成内容抑制方法及系统，涉及图像生成技术领域，包括将文本输入目标提示词映射为文本嵌入；将文本嵌入分为期望被抑制的嵌入以及鼓励保留的嵌入两个部分，构造目标文本嵌入矩阵，对所述目标文本嵌入矩阵进行奇异值分解，提取被抑制的语义信息；为每个奇异值引入软加权正则化，还原目标文本嵌入矩阵；将目标文本嵌入矩阵输入至扩散模型中，通过交叉注意力输出对应的期望被抑制特征注意图以及鼓励保留特征注意图，提出两个注意力损失评估注意力图；引入对齐损失和多样性损失，抑制期望被抑制的主体的生成，最后生成移除期望被抑制实体后的图像。本公开提高SD模型生成预期主体并抑制不需要的主体的能力。