公开(公告)号：CN117349694A

公开(公告)日：2024-01-05

申请号：CN202311097475.2

申请日：2023-08-29

Applicant: 中国科学院信息工程研究所

Inventor： 李斌斌 ,  常慧洋 ,  王海平 ,  丁煜 ,  贾思宇 ,  亓子森

IPC: G06F18/24 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0499 ,  G06N3/0895

Abstract: 本发明涉及一种支持多模态数据弱监督分类的方法和系统。该方法包括：对图像、文本分别进行特征抽取，获得图像特征、文本特征，对图像特征、文本特征进行特征融合，获得融合特征；将图像特征、文本特征和融合特征输入基于Mixmatch的多模态弱监督分类模型中进行分类；将基于Mixmatch的多模态弱监督分类模型得到的分类结果放入分类器中获取最终的分类结果。本发明实现了一种充分利用少量有标注的多模态数据与大量无标注的多模态数据的分类方案，能够解决多模态数据标注稀缺的问题，提高对互联网中多种模态数据的利用率，在互联网数据处理领域具有很强的实用性和应用范围，具有很广泛的应用前景。