公开(公告)号：CN119476410A

公开(公告)日：2025-02-18

申请号：CN202510026657.3

申请日：2025-01-08

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 李潇婕 ,  吴建龙 ,  王蓓 ,  杨一博 ,  聂礼强 ,  张民

IPC: G06N3/096

Abstract: 本发明属于人工智能与深度学习领域，为了解决新旧知识的不平衡和适配性差的问题，提供基于持续知识保护分解的小样本持续学习方法及系统。其中，基于持续知识保护分解的小样本持续学习方法包括基于每个类别的回放样本数据及持续学习模型骨干网络，经奇异值分解得到知识敏感成分和冗余容量成分；在增量适配训练过程中，冻结知识敏感成分所对应的预训练线性权重矩阵；同时利用冗余容量成分来构建可学习的适配器，更新预训练线性权重矩阵；重新获取小样本回放数据，基于更新后的预训练线性权重矩阵再次进行奇异值分解及增量适配训练操作。其通过协方差矩阵的动态更新，实现了新旧知识的平衡和高效适配，提高了分类结果的准确性。

公开(公告)号：CN119476410B

公开(公告)日：2025-05-09

申请号：CN202510026657.3

申请日：2025-01-08

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 李潇婕 ,  吴建龙 ,  王蓓 ,  杨一博 ,  聂礼强 ,  张民

IPC: G06N3/096

Abstract: 本发明属于人工智能与深度学习领域，为了解决新旧知识的不平衡和适配性差的问题，提供基于持续知识保护分解的小样本持续学习方法及系统。其中，基于持续知识保护分解的小样本持续学习方法包括基于每个类别的回放样本数据及持续学习模型骨干网络，经奇异值分解得到知识敏感成分和冗余容量成分；在增量适配训练过程中，冻结知识敏感成分所对应的预训练线性权重矩阵；同时利用冗余容量成分来构建可学习的适配器，更新预训练线性权重矩阵；重新获取小样本回放数据，基于更新后的预训练线性权重矩阵再次进行奇异值分解及增量适配训练操作。其通过协方差矩阵的动态更新，实现了新旧知识的平衡和高效适配，提高了分类结果的准确性。

公开(公告)号：CN119397366A

公开(公告)日：2025-02-07

申请号：CN202510007379.7

申请日：2025-01-03

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 李潇婕 ,  吴建龙 ,  王蓓 ,  杨一博 ,  聂礼强 ,  张民

IPC: G06F18/241 ,  G06F18/2135 ,  G06N3/084 ,  G06N3/048 ,  G06N3/0895

Abstract: 本发明属于人工智能与深度学习领域，提供基于自适应适配层选择的小样本持续学习方法及系统。其中，基于自适应适配层选择的小样本持续学习方法包括将预训练线性权重的奇异值；冻结知识敏感成分所对应的预训练线性权重矩阵；自适应确定适配层；基于适配层的适配器矩阵与当前增量适配训练阶段的训练样本特征相乘，得到冗余容量特征；重新获取小样本回放数据，基于更新后的预训练线性权重矩阵依次进行奇异值分解、适配层自适应确定及增量适配训练操作，直至持续学习模型达到设定要求时停止学习，以利用训练好的持续学习模型执行分类任务。其实现了对最小化旧知识干扰的动态适配器选择，保障了小样本持续学习模型的分类准确性。