公开(公告)号：CN119474852A

公开(公告)日：2025-02-18

申请号：CN202411350269.2

申请日：2024-09-26

Applicant: 北京交通大学

Inventor： 魏云超 ,  朱泓光 ,  焦思宇 ,  方岩 ,  王孟宇 ,  黄键楠 ,  赵耀

IPC: G06F18/214 ,  G06F40/186 ,  G06F40/216 ,  G06F40/30 ,  G06V10/774 ,  G06T11/00

Abstract: 本发明提供了一种基于语义增强和协同保留的文生图扩散模型概念擦除方法。该方法包括：定义需要擦除的目标概念，基于预训练的扩散模型初始化擦除模型，利用目标概念对初始化的擦除模型进行预热训练，得到预热后的擦除模型；通过预定义模板库中的词嵌入，使用预热后的擦除模型生成能够触发目标概念的攻击性提示；利用攻击性提示通过擦除模型内部的自我检查和自我擦除机制，对预热后的擦除模型进行更新，得到更新后的擦除模型；通过全局语义关系对齐和局部预测噪声保持，优化更新后的擦除模型对非目标概念的生成能力。本发明通过语义增强擦除机制，有效地将概念词的擦除从单一词汇扩展到整个概念域，从而显著提升了模型在不同情境下的泛化能力。

公开(公告)号：CN118823350A

公开(公告)日：2024-10-22

申请号：CN202410957456.0

申请日：2024-07-17

Applicant: 北京交通大学

Inventor： 魏云超 ,  焦思宇 ,  朱泓光 ,  赵耀

IPC: G06V10/26 ,  G06V10/764 ,  G06N3/0455 ,  G06N3/047 ,  G06V10/82 ,  G06V10/40 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种多模态模型表征优化的开放词汇分割方法及系统，属于计算机视觉技术领域，获取待分割的图像数据；利用预先训练好的多模态模型，对获取的图像进行处理，得到分割结果。本发明更好地优化了多模态任务中的视觉‑文本表征，使得同类视觉‑文本表征空间进行有效对齐；提出掩码敏感型损失在参数微调过程中约束分类得分和掩码质量保持一致，从而赋予视觉编码器局部感知能力，提升了模型在细粒度下游任务中的效果；引入了原预训练特征作为表征补偿，保证了在优化过程中预训练视觉‑语言模型的零样本能力；将文本表征和视觉表征进行交互，使得文本表征可以对于不同输入图像进行自适应增强，可有效提升开放词汇分割中视觉‑文本的对齐属性。