公开(公告)号：CN117541882B

公开(公告)日：2024-04-19

申请号：CN202410017127.8

申请日：2024-01-05

Applicant: 南京信息工程大学

Inventor： 汤龙 ,  赵靖涛

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/40

Abstract: 本发明公开了一种基于实例的多视角视觉融合转导式零样本分类方法包括：提取已见类图片的多视角视觉特征；将已见类图片的多视角视觉特征和语义属性送入多视角视觉‑语义映射模型，利用交替方向乘子法学习不同视角上的转换矩阵；利用学习到的转换矩阵预测未见类图片的语义投影；再从语义投影进一步提取未见类图片的最终语义表示并基于此实现对未见类图片的识别；本发明提出采用单一的线性约束实现不同视角上的视觉信息的交互共享，简化了传统多视角信息融合模型的复杂度；同时，为了进一步挖掘在未见类中隐藏的视觉‑语义关联，提出一种自监督学习策略并利用多视角之间的一致性实现对未见类图片的语义校准，可大幅提升零样本分类的性能。

公开(公告)号：CN117541882A

公开(公告)日：2024-02-09

申请号：CN202410017127.8

申请日：2024-01-05

Applicant: 南京信息工程大学

Inventor： 汤龙 ,  赵靖涛

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/40

Abstract: 本发明公开了一种基于实例的多视角视觉融合转导式零样本分类方法包括：提取已见类图片的多视角视觉特征；将已见类图片的多视角视觉特征和语义属性送入多视角视觉‑语义映射模型，利用交替方向乘子法学习不同视角上的转换矩阵；利用学习到的转换矩阵预测未见类图片的语义投影；再从语义投影进一步提取未见类图片的最终语义表示并基于此实现对未见类图片的识别；本发明提出采用单一的线性约束实现不同视角上的视觉信息的交互共享，简化了传统多视角信息融合模型的复杂度；同时，为了进一步挖掘在未见类中隐藏的视觉‑语义关联，提出一种自监督学习策略并利用多视角之间的一致性实现对未见类图片的语义校准，可大幅提升零样本分类的性能。