公开(公告)号：CN113920379A

公开(公告)日：2022-01-11

申请号：CN202111323019.6

申请日：2021-11-09

Applicant: 北京工业大学

Inventor： 孔德慧 ,  李希亮 ,  王少帆 ,  李敬华 ,  王立春

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及一种基于知识辅助的零样本图像分类方法，用于解决图卷积神经网络和知识图的算法无法充分利用视觉和语义知识，导致零样本图像分类准确性低的问题。为此本发明提出了视觉知识辅助模块与语义知识辅助模块，进一步提升了现有模型的图像分类精度。视觉知识辅助模块中利用每个类的样本视觉特征中心及其对应标签设计一个分类损失函数，促使模型挖掘真实的视觉知识。语义知识辅助模块通过将分类器参数重构回语义特征的方式，保证了语义知识在卷积网络中重要信息不被损害。此外还添加了一个简单的残差卷积网络进一步提高模型在AWA2数据集上的表现。本发明在的AWA2数据集和ImageNet数据集上都取得了良好的实验结果。

公开(公告)号：CN113920379B

公开(公告)日：2024-05-28

申请号：CN202111323019.6

申请日：2021-11-09

Applicant: 北京工业大学

Inventor： 孔德慧 ,  李希亮 ,  王少帆 ,  李敬华 ,  王立春

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明涉及一种基于知识辅助的零样本图像分类方法，用于解决图卷积神经网络和知识图的算法无法充分利用视觉和语义知识，导致零样本图像分类准确性低的问题。为此本发明提出了视觉知识辅助模块与语义知识辅助模块，进一步提升了现有模型的图像分类精度。视觉知识辅助模块中利用每个类的样本视觉特征中心及其对应标签设计一个分类损失函数，促使模型挖掘真实的视觉知识。语义知识辅助模块通过将分类器参数重构回语义特征的方式，保证了语义知识在卷积网络中重要信息不被损害。此外还添加了一个简单的残差卷积网络进一步提高模型在AWA2数据集上的表现。本发明在的AWA2数据集和ImageNet数据集上都取得了良好的实验结果。