公开(公告)号：CN115984662A

公开(公告)日：2023-04-18

申请号：CN202310272537.2

申请日：2023-03-21

Applicant: 广东省科技基础条件平台中心

Inventor： 罗亮 ,  林珠 ,  李海威 ,  马志平 ,  冯秩华

IPC: G06V10/80 ,  G06N3/0455 ,  G06N3/0895 ,  G06V10/74 ,  G06V10/82

Abstract: 本发明公开了一种多模态数据预训练及识别方法、装置、设备及介质，通过对采集获得的缺陷基础数据进行多源异构数据融合，构建缺陷场景规则数据库；从所述缺陷场景规则数据库中提取缺陷类型信息、特征信息和场景信息，进行数据关联，提取出所述缺陷场景规则数据库的场景因子；构建携带缺陷场景信息的自编码网络结构模型，将所述场景因子融入所述自编码网络结构模型中，并输入由各类缺陷的样本数据进行编码得到的特征向量，进行数据与规则的匹配训练，生成模态识别模型；根据所述模态识别模型对待检测样本进行缺陷识别。能够提高产品缺陷检测准确率和模型的鲁棒性。