公开(公告)号：CN114022739A

公开(公告)日：2022-02-08

申请号：CN202111364293.8

申请日：2021-11-17

Applicant: 南京邮电大学

Inventor： 李群 ,  沈亚营 ,  肖甫 ,  徐鼎 ,  周剑

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于对齐变分自编码器与三元组结合的零样本学习方法，输入已知类别图像特征及其对应选取的正样本和负样本组成的三元组到图像特征变分自编码器，输入已知类别图像对应的属性特征到属性变分自编码器；通过重建损失、参数对齐损失、交叉重建损失和三元组损失四种损失函数对自编码器进行优化学习；由编码器编码后获取图像特征和属性的潜在空间特征，并在潜在空间训练一个分类器。利用训练好的分类器对测试集数据进行测试。本方法能够为未知类别生成高质量潜在空间特征，弥补了零样本学习在训练过程中缺失未知类别训练样本的问题，并且能够更加紧密地联系视觉特征和语义特征，使得模型更具鲁棒性，分类精度明显提高。

公开(公告)号：CN114022739B

公开(公告)日：2024-11-29

申请号：CN202111364293.8

申请日：2021-11-17

Applicant: 南京邮电大学

Inventor： 李群 ,  沈亚营 ,  肖甫 ,  徐鼎 ,  周剑

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 一种基于对齐变分自编码器与三元组结合的零样本学习方法，输入已知类别图像特征及其对应选取的正样本和负样本组成的三元组到图像特征变分自编码器，输入已知类别图像对应的属性特征到属性变分自编码器；通过重建损失、参数对齐损失、交叉重建损失和三元组损失四种损失函数对自编码器进行优化学习；由编码器编码后获取图像特征和属性的潜在空间特征，并在潜在空间训练一个分类器。利用训练好的分类器对测试集数据进行测试。本方法能够为未知类别生成高质量潜在空间特征，弥补了零样本学习在训练过程中缺失未知类别训练样本的问题，并且能够更加紧密地联系视觉特征和语义特征，使得模型更具鲁棒性，分类精度明显提高。

公开(公告)号：CN115761355A

公开(公告)日：2023-03-07

申请号：CN202211475700.7

申请日：2022-11-23

Applicant: 南京邮电大学

Inventor： 李群 ,  沈亚营 ,  肖甫 ,  盛碧云 ,  沙乐天

IPC: G06V10/764 ,  G06V10/774 ,  G06N3/084

Abstract: 基于特征优化的混合广义零样本学习方法，将真实样本和生成模型产生的生成样本映射到一个嵌入空间中，在嵌入空间中执行最终的广义零样本学习分类。另外，为了改进可见类样本和未见类样本的视觉特征，该方法采用了一个特征优化模块，该模块将视觉→语义映射集成到混合框架中，引入了语义周期一致性损失与对比损失，来明确地鼓励类内紧凑性和类间可分性，并指导模型学习语义相关和更具鉴别性的视觉特征。本发明能够为不可见类生成具有鉴别性的视觉特征，弥补了样本缺失以及生成模型产生的生成样本缺乏鉴别性的问题，并且能够更加紧密地联系视觉特征和语义特征，使得模型更具鲁棒性，分类精度明显提高。