公开(公告)号：CN118735005A

公开(公告)日：2024-10-01

申请号：CN202410778100.0

申请日：2024-06-17

Applicant: 中国科学院计算技术研究所

Inventor： 许倩倩 ,  华聪 ,  包世龙 ,  杨智勇 ,  黄庆明

IPC: G06N20/20 ,  G06N3/084 ,  G06N3/09 ,  G06V10/26 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06F18/241 ,  G06F18/25

Abstract: 本发明提出一种基于模态调和的多模态模型训练方法和装置，包括：获取已标注类别标签的多模态数据，并将其转化为符合模型结构输入的指定形式，得到训练数据。构建包括多个学习器的多模态模型，每个学习器对应一种模态，用于提取对应模态数据的特征，根据各学习器提取的特征进行分类，通过分类结果和该类别标签构建损失函数，依次交替训练每一个模态的学习器，以完成对该多模态模型的训练；将待分类多模态数据输入训练完成后的多模态模型，得到每个学习器的输出特征，融合所有该输出特征，得到该待分类多模态数据的分类结果。