公开(公告)号：CN117474854A

公开(公告)日：2024-01-30

申请号：CN202311410269.2

申请日：2023-10-27

Applicant: 福州大学

Inventor： 郭文忠 ,  郑梧堃 ,  柯逍

IPC: G06T7/00 ,  G06V10/80 ,  G06V10/774 ,  G06V20/64 ,  G06V10/40

Abstract: 本发明提出一种基于多模态向量记忆库的自监督缺陷检测方法，首先通过工业相机配合固定漫射光源扫描无异常样品；其次将样本的图像和点云数据输入预训练模型，得到样本的2D图像特征及3D点云特征；之后生成自监督信息，即随机对样本特征进行人为干扰，并将未扰动及扰动后的特征图分别输入至两组多模态交互融合模块与重映射模块中，输出编码后的特征向量；然后进行自监督学习，仅对其中一组多模态编码模块进行梯度更新。通过指数平均移动原理更新另一组模块的参数；最后移除多余模块，利用非异常样本的特征向量建立非异常特征记忆库，将测试融合特征与特征记忆库进行比对，检测当前样本是否是异常样本；本发明能够提供比单模态数据更精确的检测效果。

公开(公告)号：CN115690058A

公开(公告)日：2023-02-03

申请号：CN202211380109.3

申请日：2022-11-04

Applicant: 福州大学

Inventor： 郭文忠 ,  郑梧堃 ,  柯逍

IPC: G06T7/00 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N5/022 ,  G06N3/042 ,  G06N3/084 ,  G06N3/0895

Abstract: 本发明提出一种基于特征记忆库的轻量化工业环境缺陷检测方法，首先通过拍摄流水线合格产品的俯视图/左视图或右视图，整理成数据集后预处理；其次将数据集输入经过预训练的标准教师模型和初始化后的轻量学生模型，以此对学生模型进行特征知识蒸馏训练；之后将无缺陷产品数据集输入到经过特征知识蒸馏训练的轻量学生模型，提取产品图像对应特征集合并进行多尺度特征集合融合后，进行最大核心集距离采样，建立当前产品线合格产品的特征记忆库；最后将需要检测的流水线生产图像输入到轻量学生模型并进行多尺度特征融合，再与特征记忆库进行最近邻居算法比对，检测当前产品是否包含缺陷；本发明能够在尽量不损失准确率的前提下，提升异常检测的效率。