公开(公告)号：CN119273943A

公开(公告)日：2025-01-07

申请号：CN202411299012.9

申请日：2024-09-18

Applicant: 西南交通大学

Inventor： 张晓博 ,  张欣傲雪 ,  包金雨 ,  谌柯宇 ,  张琼 ,  赵紫煊 ,  朱正宇

IPC: G06V10/72 ,  G06V10/762 ,  G06V10/776 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06F18/25

Abstract: 本发明公开了一种大模型驱动的多模态语义增强域泛化方法，包括：S1、数据集获取及数据域划分；S2、将数据集输入至MiniCPM模型中，提取图像的语义信息；S3、通过GLM4‑0520模型进行语义扩增，组合后得到详细语义描述；S4、将详细语义描述利用StableDiffusion模型生成对应的图像；S5、构造卷积神经网络，结合KMeans算法对图像进行聚类筛选处理；S6、将筛选得到的图像与数据集进行合并，得到合并数据集并输入至骨干网络Resnet‑50中进行训练；S7、将测试域数据输入到S6训练好的模型中，测试模型性能。本发明引入多种模型，提升了不同领域数据上的泛化能力和准确性。