公开(公告)号：CN117830274A

公开(公告)日：2024-04-05

申请号：CN202410022015.1

申请日：2024-01-05

Applicant: 湖南大学

Inventor： 全哲 ,  张曦辰 ,  尹登峰 ,  吴超 ,  乐雨泉 ,  肖桐 ,  刘梦迪 ,  雷明

IPC: G06T7/00 ,  G06V10/764 ,  G06V10/82 ,  G06V10/40 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/084 ,  G06F40/289 ,  G06F40/126

Abstract: 本发明公开了一种基于多模态大模型的航空发动机损伤检测方法，首先，通过孔探设备获取发动机内部视频，并抽取关键帧作为分析的图片集合，并将图片经过预处理；其次，构建多模态数据集，数据集由多个部分组成，分别用于训练不同的模型；然后通过使用航空发动机图文数据二次预训练，得到包含航空发动机知识的图片编码器和文本编码器。再使用大规模通用数据集，基于二次预训练的图片编码器和文本编码器，利用对比学习的方法训练多模态大模型；最后使用少量标注的航空发动机损伤图文数据，基于多模态大模型，训练图片微调网络和文本微调网络。本发明能够解决现有人工检测中主观性强、效率低、成本高的技术问题。