公开(公告)号：CN118506049A

公开(公告)日：2024-08-16

申请号：CN202410367548.3

申请日：2024-03-28

Applicant: 南开大学

Inventor： 黄林澜 ,  刘夏雷 ,  程明明

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开一种基于CLIP类别增量学习的图像分类方法及系统，包括：构建预训练的CLIP模型，获取训练图像及对应的文本标签，分别采用图像编码器和文本编码器提取图像特征和文本特征，以对适配器进行训练；其中，根据新输入的训练图像的文本特征和旧类别文本特征的相似度，筛选相邻类别的新旧类别对，对每对相邻类别中的旧类别文本特征，采用正态分布进行采样，以此构建铰链损失函数；在完成第t个训练任务后，将前一训练任务的适配器参数与当前训练任务的适配器参数进行融合，从而得到当前训练任务的最终适配器参数；对待处理图像采用训练后的CLIP模型得到分类结果。减少由于学习新类而导致的旧类遗忘，提高图像分类准确度。

公开(公告)号：CN116977718A

公开(公告)日：2023-10-31

申请号：CN202310800277.1

申请日：2023-06-30

Applicant: 南开大学

Inventor： 刘夏雷 ,  曹续生 ,  程明明

IPC: G06V10/764 ,  G06V10/774

Abstract: 本发明属于图像分类技术领域，提供了一种基于类增量学习的图像分类方法及系统，包括：将待分类图像输入训练好的图像分类模型，得到待分类图像的类别；其中，图像分类模型包括图像特征提取器、文本特征提取器以及设置于所述图像特征提取器之后的线性适配器；在训练过程中，保持图像特征提取器和文本特征提取器不变；且，每次训练任务中，对线性适配器的参数进行更新后，计算更新后的参数与未更新的参数的差值的绝对值，并基于所述差值的绝对值，在更新后的参数与未更新的参数中进行选择，以更新线性适配器。实现了在保留先前任务的知识的同时，能够随着新图像数据学习新知识，将旧知识和新知识进行整合，提高了模型进行图像分类的准确性。

公开(公告)号：CN117173036A

公开(公告)日：2023-12-05

申请号：CN202310966988.6

申请日：2023-08-02

Applicant: 南开大学

Inventor： 郭春乐 ,  靳鑫 ,  肖嘉文 ,  韩凌昊 ,  刘夏雷 ,  李重仪 ,  程明明

IPC: G06T5/00 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种免标定的RAW图像去噪方法、系统、介质及设备。涉及图像处理技术领域。该方法步骤包括：获取待去噪的RAW图像；给定一个去噪的神经网络，并在神经网络的每一个卷积层的模型内噪声去除模块前添加一个摄像机特定对齐模块分支，得到初步去噪模型；利用虚拟相机对初步去噪模型进行预训练；对预训练后的模型进行微调，其中微调过程为：对预训练后的模型进行微调；对微调后模型的摄像机特定对齐模块分支旁侧添加一个模型外噪声去除模块分支；对模型外噪声去除模块分支进行微调；利用微调后的去噪模型对RAW图像进行去噪处理。本发明通过预训练和微调解耦去噪网络和特定目标相机之间的强连接，实现了更为高效准确的RAW图像去噪。

公开(公告)号：CN117079011A

公开(公告)日：2023-11-17

申请号：CN202310883422.7

申请日：2023-07-18

Applicant: 南开大学

Inventor： 曹续生 ,  卢浩日 ,  刘夏雷 ,  程明明

IPC: G06V10/764 ,  G06V10/74 ,  G06V10/774

Abstract: 本发明公开了基于分布外检测的图像类增量学习方法及系统，其中所述方法，包括：获取待检测图像以及训练后的分类器列表C；取出训练后的分类器列表C中的最后一个分类器，将取出的分类器的输入端与图像特征提取器的输出端连接得到最后一个图像学习模型，将待检测图像输入到最后一个图像学习模型中，输出待检测图像的图像类别，如果待检测图像的图像类别为分布外类别，则采用，列表中的下一个分类器进行分类，如果待检测图像的图像类别为分布内类别，则采用文本特征与图像特征提取器所求的图像特征之间的相似度，对待检测图像的图像类别做出进一步的判断。本发明可以提升分布外检测的性能。