公开(公告)号：CN119762891A

公开(公告)日：2025-04-04

申请号：CN202411973769.1

申请日：2024-12-30

Applicant: 哈尔滨工业大学

Inventor： 刘铭 ,  李沅泽 ,  苑世豪 ,  王浩霖 ,  李启璋 ,  闫子飞 ,  徐晨 ,  石光明 ,  左旺孟

IPC: G06V10/764 ,  G06V10/25 ,  G06V10/44 ,  G06N5/022 ,  G06N3/0499 ,  G06N3/09

Abstract: 基于多模态大模型的工业图像异常检测方法，属于工业异常检测领域，本发明为解决多模态大模型进行工业异常检测时存在可扩展性和适应性差、在图像中识别微小异常能力弱的问题。本发明包括步骤1、基于工业异常检测数据集构建知识理解训练任务，步骤2、利用专家引导的图像采样模块预测异常图并提取N个感兴趣区域，将N个感兴趣区域连同输入的原图一起输入视觉编码器中，以提取视觉特征，并输出大语言模型能识别的视觉编码；步骤3、构建视觉语言对齐的工业异常检测指令集；步骤4、利用知识理解训练任务和工业异常检测指令集对多模态大模型进行微调；步骤5、利用训练好的多模态大模型对工业产品进行异常检测。

公开(公告)号：CN118762230A

公开(公告)日：2024-10-11

申请号：CN202411064927.1

申请日：2024-08-05

Applicant: 哈尔滨工业大学

Inventor： 左旺孟 ,  黄梓桐 ,  李沅泽 ,  董伯文

IPC: G06V10/764 ,  G06V10/762 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 实现类别平衡采样的主动‑类增量图像分类方法及装置，涉及增量任务的图像分类领域。解决现有面向无标签图像集合在基于主动学习的类增量图像分类模型进行样本选择时呈现严重的类别不平衡现象的问题。本发明采用本发明所设计的改进贪心采样算法来选出一批有价值样本，使得挑选样本所服从的分布接近全体样本的分布，进而实现采样的类别平衡。该改进贪心采样算法通过计算所选样本构成的分布以及本簇中全部样本构成的分布的相似程度来决定每个样本是否有价值被选择。本发明主要用于实现增量任务的图像分类。