公开(公告)号：CN117743858B

公开(公告)日：2024-07-19

申请号：CN202410183536.5

申请日：2024-02-19

Applicant: 中国科学院自动化研究所

Inventor： 张俊格 ,  黄凯奇 ,  陈帅

IPC: G06F18/214 ,  G06F18/2415 ,  G06F18/2431 ,  G06N3/096 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明涉及人工智能技术领域，提供了一种基于知识增强的连续学习软标签构建方法,该方法包括：随机初始化语义软标签，计算语义Gram矩阵，通过语义Gram矩阵、词向量Gram矩阵和相应类别平滑后的语义软标签,获得优化后的语义软标签损失函数；随机初始化知识蒸馏软标签，计算知识蒸馏Gram矩阵，通过知识蒸馏Gram矩阵、嵌入Gram矩阵和相应类别平滑后的知识蒸馏软标签，获得优化后的知识蒸馏软标签损失函数；将上述两种损失函数结合，获得总损失函数；将所述总损失函数用于新任务的训练。本发明解决了在神经网络模型连续学习过程中缺乏旧任务数据的问题，避免了灾难性遗忘的效果。

公开(公告)号：CN117743858A

公开(公告)日：2024-03-22

申请号：CN202410183536.5

申请日：2024-02-19

Applicant: 中国科学院自动化研究所

Inventor： 张俊格 ,  黄凯奇 ,  陈帅

IPC: G06F18/214 ,  G06F18/2415 ,  G06F18/2431 ,  G06N3/096 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明涉及人工智能技术领域，提供了一种基于知识增强的连续学习软标签构建方法,该方法包括：随机初始化语义软标签，计算语义Gram矩阵，通过语义Gram矩阵、词向量Gram矩阵和相应类别平滑后的语义软标签,获得优化后的语义软标签损失函数；随机初始化知识蒸馏软标签，计算知识蒸馏Gram矩阵，通过知识蒸馏Gram矩阵、嵌入Gram矩阵和相应类别平滑后的知识蒸馏软标签，获得优化后的知识蒸馏软标签损失函数；将上述两种损失函数结合，获得总损失函数；将所述总损失函数用于新任务的训练。本发明解决了在神经网络模型连续学习过程中缺乏旧任务数据的问题，避免了灾难性遗忘的效果。