公开(公告)号：CN119418108A

公开(公告)日：2025-02-11

申请号：CN202411467737.4

申请日：2024-10-21

Applicant: 中国科学院计算技术研究所

Inventor： 陈薇 ,  毕可平 ,  张明坤 ,  陈全润 ,  郭嘉丰 ,  程学旗

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/094 ,  G06N5/025

Abstract: 本发明提出一种基于因果扩散模型的鲁棒图像分类方法，包括：通过条件扩散模型建模结构因果模型；从图像数据集采集作为训练样本的样本图像；通过结构因果模型提取训练样本的因果特征和非因果特征并计算因果信息瓶颈，最大化因果信息瓶颈，更新结构因果模型，得到中间模型；采用中间模型生成该训练样本的因果特征，指导中间模型预测训练样本的预测类别，并根据训练样本的预测类别和类别标签构建损失函数，训练中间模型，得到图像分类模型；获取已标记目标类别的对抗样本图像，应用图像分类模型对接收的对抗样本进行净化处理，得到净化图像；利用图像分类模型提取净化图像的因果特征，并基于净化图像的因果特征得到净化图像的图像分类结果。

公开(公告)号：CN119418123A

公开(公告)日：2025-02-11

申请号：CN202411558624.5

申请日：2024-11-04

Applicant: 中国科学院计算技术研究所

Inventor： 陈薇 ,  毕可平 ,  张明坤 ,  郭嘉丰 ,  程学旗

IPC: G06V10/764 ,  G06V10/74 ,  G06V10/774 ,  G06N5/04

Abstract: 本发明提出一种基于多模态模型CLIP的隐空间净化的图像分类方法和装置，包括：将待分类图片输入图文多模态对比预训练模型的图像编码器，得到待分类图片在隐空间上的表示向量；使用图文多模态对比预训练模型的文本编码器，得到空类别文本所表示的空类别文本嵌入向量；计算表示向量和空类别文本嵌入向量的概率似然值；提取表示向量的向量长度与方向矢量，计算似然概率值对方向矢量的梯度，采用梯度上升方法对方向矢量进行更新同时保持向量长度不变，得到净化向量；通过选择与最终净化向量相似度最高的类别文本嵌入向量，将类别文本嵌入向量对应的图像类别作为类别文本嵌入向量的分类结果。

公开(公告)号：CN115761414A

公开(公告)日：2023-03-07

申请号：CN202211536222.6

申请日：2022-12-01

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  郭嘉丰 ,  陈薇 ,  李家宁 ,  张明坤

IPC: G06V10/774 ,  G06V10/82

Abstract: 本发明提出一种鲁棒数据集蒸馏方法，包括：在原训练数据集中进行随机采样，作为初始化的蒸馏数据集；对该原训练数据集进行随机采样，得到原样本采样集；为该原样本采样集添加对抗扰动，得到扰动样本采样集；分别计算该扰动样本采样集与该蒸馏数据集的特征表示或网络梯度，以该特征表示或网络梯度的差异作为损失函数；根据该损失函数反向传播对该蒸馏数据集进行优化更新，不断迭代优化过程，直至损失函数收敛，保存当前蒸馏数据集作为最终的鲁棒蒸馏数据集。以该鲁棒蒸馏数据集代替该原训练数据集，训练目标深度神经网络模型完成图像识别分类。本发明将对抗鲁棒特性蒸馏到鲁棒蒸馏数据集，从而提升蒸馏数据集训练得到模型的鲁棒性。