公开(公告)号：CN114693942A

公开(公告)日：2022-07-01

申请号：CN202210336240.3

申请日：2022-03-31

Applicant: 重庆大学

Inventor： 张可 ,  柴毅 ,  蒲华祥 ,  邱可玥 ,  王嘉璐 ,  钱亚林 ,  宋倩倩 ,  安翼尧 ,  李希晨

IPC: G06V10/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/02 ,  G06N3/04 ,  G06N5/04 ,  G06N10/00

Abstract: 本发明提供一种仪器仪表智能运维的多模态故障理解及辅助标注方法，步骤为：采集仪器仪表故障时反馈的图像、声音和文本数据，分别对采集的图像、音频和文本数据进行预处理，对预处理后的图像数据、音频数据、文本数据进行特征提取，采用基于多模态量子启发神经网络对提取的图像、音频、文本特征进行融合；利用提取的图像、音频、文本特征对多模态量子启发神经网络模型进行训练；将训练好的模型加载到仪器仪表智能运维平台后端，将多模态故障数据传入API，经过模型推理，返回标注集合；本发明通过多模态量子启发深度网络模型对图像、语音、文本特征进行融合，通过融合编码特征对仪器仪表的故障进行理解，并对故障反馈信息进行自动标注，实用性强。