公开(公告)号：CN118379562A

公开(公告)日：2024-07-23

申请号：CN202410804377.6

申请日：2024-06-21

Applicant: 大连理工大学

Inventor： 刘宇 ,  贾棋 ,  李江浩 ,  张延义 ,  王维民 ,  薛昕惟

IPC: G06V10/764 ,  G06V10/80 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明涉及计算机视觉图像零样本分类领域，提供一种基于渐进式互指导的组合零样本图像分类方法，包括：将训练图像输入到预训练好的视觉特征提取器中提取到多尺度的基元特征（属性特征和对象特征）；将多尺度的基元特征输入深度神经分类网络中进行渐进式互学习，得到训练好的模型，迭代此过程，逐步得到精确的网络模型；将图像对应的标签通过词嵌入转换为文本特征，与视觉特征进行对齐；对预测的模型和文本计算松弛交叉熵损失，优化网络模型；将测试集输入到优化后的模型中，通过三个不同分支的平衡得到预测结果。本发明能够大幅度提高对于看不见组合的分类精度，同时缓解了组合零样本任务存在的泛化性和情境性问题，使图像分类更加准确。

公开(公告)号：CN119445327A

公开(公告)日：2025-02-14

申请号：CN202411487168.X

申请日：2024-10-24

Applicant: 大连理工大学

Inventor： 刘宇 ,  贾棋 ,  张延义 ,  邱炳林 ,  薛昕惟 ,  王维民

IPC: G06V10/82 ,  G06V10/764 ,  G06V10/80 ,  G06V10/74 ,  G06N3/0455 ,  G06N3/096

Abstract: 本发明涉及计算机视觉图像分类领域，提供一种面向图像分类任务的组合增量学习方法，包括：通过图像特征提取器中提取到图像特征；将图像特征分别在对象提示池与组合提示池中选取合适的提示并进行融合；使用对象提示指导属性提示选择并进行融合；获取训练图像的特征序列；通过Transformer Encoder分别得到训练图像的属性特征、对象特征与组合特征；使用属性分类器、对象分类器、组合分类器分别对属性、对象和组合进行分类，得到属性、对象、组合的预测分数；最终对测试图像进行测试获取最终组合预测分数，分数最高的组合即为预测分类结果。本发明能够大幅度提高对于组合增量图像的分类精度，使图像分类更加准确。

公开(公告)号：CN118379562B

公开(公告)日：2024-10-15

申请号：CN202410804377.6

申请日：2024-06-21

Applicant: 大连理工大学

Inventor： 刘宇 ,  贾棋 ,  李江浩 ,  张延义 ,  王维民 ,  薛昕惟

IPC: G06V10/764 ,  G06V10/80 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明涉及计算机视觉图像零样本分类领域，提供一种基于渐进式互指导的组合零样本图像分类方法，包括：将训练图像输入到预训练好的视觉特征提取器中提取到多尺度的基元特征（属性特征和对象特征）；将多尺度的基元特征输入深度神经分类网络中进行渐进式互学习，得到训练好的模型，迭代此过程，逐步得到精确的网络模型；将图像对应的标签通过词嵌入转换为文本特征，与视觉特征进行对齐；对预测的模型和文本计算松弛交叉熵损失，优化网络模型；将测试集输入到优化后的模型中，通过三个不同分支的平衡得到预测结果。本发明能够大幅度提高对于看不见组合的分类精度，同时缓解了组合零样本任务存在的泛化性和情境性问题，使图像分类更加准确。