公开(公告)号：CN114841335A

公开(公告)日：2022-08-02

申请号：CN202210062288.X

申请日：2022-01-19

Applicant: 苏州大学

Inventor： 张亚伟 ,  王晶晶 ,  李寿山

IPC: G06N3/08 ,  G06N3/04 ,  G06K9/62 ,  G06V10/764 ,  G06V10/774 ,  G06V10/778 ,  G06V10/82 ,  G06F16/35

Abstract: 本发明涉及一种基于变分蒸馏的多模态联合表示学习方法，包括部署学生模型、文本教师模型和图像教师模型，多模态数据包括原始的文本模态数据和图像模态数据，整理得到输入相同的文本模态输入和图像模态输入；将其分别输入至模态联合表示模块，得到文本输出和图像输出，将原始的文本模态数据和图像模态数据输入至文本教师模型和图像教师模型，得到文本输出和图像输出；利用变分互信息表征学生模型和教师模型对应的文本输出和图像输出的相关性，将文本输出和图像输出利用蒸馏损失函数进行联合蒸馏训练，使学生模型获得匹配教师模型的能力。本发明提出一种基于变分蒸馏的多模态联合表示学习方法及系统，在不同模态数据集上均超越了现有的基准模型。