-
公开(公告)号:CN113505701A
公开(公告)日:2021-10-15
申请号:CN202110786235.8
申请日:2021-07-12
Applicant: 辽宁工程技术大学
Abstract: 本发明公开了一种结合知识图谱的变分自编码器零样本图像识别方法,步骤为:对视觉特征学习网络的训练,训练图像输入CNN卷积神经网络,将提取到的图像特征通过VAE编码成低维特征向量Zi,投入潜在特征空间;对语义特征学习网络的训练;对每个模态特定解码器的训练;利用学习好的网络融合未知类视觉和语义知识推断出样本的类别。本发明采用生成模型变分自编码器生成相应类别的潜在特征,减轻了可见类和不可见类之间的数据不平衡,在准确率上有一定的提高。本发明通过构建联合类别分级结构,类别文本描述和词向量的层次结构化知识图谱作为语义信息库,将知识图谱中丰富的语义知识结合到生成模型中,最大效果的提高分类准确度。