-
公开(公告)号:CN119832561A
公开(公告)日:2025-04-15
申请号:CN202411912803.4
申请日:2024-12-24
Applicant: 安徽大学
Abstract: 本发明属于人工智能技术领域,具体的说是一种基于多模态CLIP视觉语言模型的场景异常检测方法,包括多层级特征的多专家适配器、图像文本特征对比和CLIP LoRA高效参数微调,多层级特征的多专家适配器:将CLIP应用到下游任务常见做法是在VIT骨干网络中引入额外的跨层CLIP‑Adapter,即在不同层间引入可训练的BottleNeck,并在BottleNeck上采样部分引入专家混合模型的多专家网络;通过在BottleNeck的上采样部分引入MoE多专家网络,对不同的场景以及场景异常分别建模,每个专家专门研究输入空间的一个子集,可以针对特定问题进行优化,提高处理特定问题的效率。