公开(公告)号：CN109753649A

公开(公告)日：2019-05-14

申请号：CN201811466325.3

申请日：2018-12-03

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  庞亮 ,  兰艳艳 ,  郭嘉丰 ,  沈华伟 ,  陈丽娟 ,  张海楠 ,  曾玮 ,  李家宁 ,  赵峻瑶 ,  倪艺函

IPC: G06F17/27

Abstract: 本发明涉及一种基于细粒度匹配信号的文本相关性度量方法和系统，包括：获取待语义匹配的两段文本，将该文本中每一个词映射为词向量，根据其中一段文本中每一个词的词向量，与另一段文本中每一个词向量的语义相似度，将所有该语义相似度集合成二维实数矩阵，作为匹配矩阵；将该匹配矩阵中每个元素的语义相似度转换为灰度值，得到灰度图，使用针对二维数据的卷积神经网络结构对该灰度图进行图像模式提取，得到特征图，该特征图经过全连接网络并通过逻辑斯谛函数处理后，得到0-1之间的一个分数，将该分数作为该两段文本之间的相关性。本发明能够构建细粒度匹配信号，提取多层次的匹配模式。在多种不同任务的实际数据集上的效果突出。

公开(公告)号：CN115761414A

公开(公告)日：2023-03-07

申请号：CN202211536222.6

申请日：2022-12-01

Applicant: 中国科学院计算技术研究所

Inventor： 程学旗 ,  郭嘉丰 ,  陈薇 ,  李家宁 ,  张明坤

IPC: G06V10/774 ,  G06V10/82

Abstract: 本发明提出一种鲁棒数据集蒸馏方法，包括：在原训练数据集中进行随机采样，作为初始化的蒸馏数据集；对该原训练数据集进行随机采样，得到原样本采样集；为该原样本采样集添加对抗扰动，得到扰动样本采样集；分别计算该扰动样本采样集与该蒸馏数据集的特征表示或网络梯度，以该特征表示或网络梯度的差异作为损失函数；根据该损失函数反向传播对该蒸馏数据集进行优化更新，不断迭代优化过程，直至损失函数收敛，保存当前蒸馏数据集作为最终的鲁棒蒸馏数据集。以该鲁棒蒸馏数据集代替该原训练数据集，训练目标深度神经网络模型完成图像识别分类。本发明将对抗鲁棒特性蒸馏到鲁棒蒸馏数据集，从而提升蒸馏数据集训练得到模型的鲁棒性。