公开(公告)号：CN120068973A

公开(公告)日：2025-05-30

申请号：CN202510535064.X

申请日：2025-04-27

Applicant: 鹏城实验室

Inventor： 蒋冬梅 ,  黄思宏 ,  魏骁勇 ,  王耀威 ,  蔡毅 ,  胡孟豪 ,  梁达勇 ,  曾雨诗

IPC: G06N3/08 ,  G06F18/25 ,  G06F18/214 ,  G06F18/2113 ,  G06N3/045

Abstract: 本申请实施例提出的多模态识别模型训练方法、多模态数据识别方法及相关设备，方法包括：获取多条多模态训练样本对；基于多模态识别模型中的多粒度输出模型，将每条多模态训练样本对进行第一特征提取和第二特征提取，得到对应处理粒度不同的第一特征数据和第二特征数据，将每个第一特征数据和对应的第二特征数据进行混合处理，得到多粒度混合输出；基于多模态识别模型中的特征级混合模型，将每条多模态训练样本对进行特征级混合处理，得到每条多模态训练样本对应的特征级混合输出；基于多粒度混合输出和特征级混合输出计算得到多模态损失，并基于多模态损失对多模态识别模型进行更新，有效地提高多模态数据的识别精准性。