公开(公告)号：CN117315346A

公开(公告)日：2023-12-29

申请号：CN202311246897.1

申请日：2023-09-25

Applicant: 同济大学

Inventor： 何斌 ,  杨振坤 ,  李刚 ,  陆萍 ,  朱忠拳 ,  程斌

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06F18/2415 ,  G06F18/25 ,  G06V10/82

Abstract: 本发明提供一种基于多模态融合的航空发动机叶片故障诊断方法及系统，涉及航空发动机故障诊断技术领域，包括：获取用于故障诊断的航空发动叶片的原始文本、振动和图像多模态感知数据；通过数据归一化技术对获得的原始文本、振动和图像数据分别进行归一化处理；通过一维卷积层分别对归一化之后的三种模态数据进行初步的特征提取；构造基于Transformer的多模态数据跨模态融合网络；将通过一维卷积提取的三种模态初步特征送入多模态特征融合网络进行特征的融合；通过全连接层和Softmax分类器，输出故障分类结果。本发明提供的故障诊断模型通过对文本、振动和图像数据进行跨模态的特征融合，能够充分利用不同模态数据之间的互补信息，具有鲁棒性高的优点。