公开(公告)号：CN117746144A

公开(公告)日：2024-03-22

申请号：CN202311781473.5

申请日：2023-12-22

Applicant: 电子科技大学

Inventor： 李宏亮 ,  程浩洋 ,  问海涛 ,  邱荷茜 ,  王岚晓 ,  张敏键 ,  孟凡满 ,  许林峰 ,  吴庆波

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/44 ,  G06V10/77 ,  G06V10/774 ,  G06N3/045 ,  G06N3/088 ,  G06N3/0895 ,  G06N3/084

Abstract: 该发明公开了一种基于交替任务判别的无监督连续学习的图像分类方法，属于无监督连续学习的图像分类领域。本发明首次提出利用自监督辅助任务来帮助深度学习模型保留过去编码信息的记忆，从而具有克服灾难性遗忘的能力。发明的主要创新点在于设计了任务判别辅助任务，同时提出交替优化训练方法，保证了无监督连续学习表征的有效性和连续性。相比于基于重演、正则的无监督连续学习方法，该方法简单而高效，在保证模型抗遗忘能力的前提下极大地降低了对过去数据信息的依赖。

公开(公告)号：CN116310478A

公开(公告)日：2023-06-23

申请号：CN202211502674.2

申请日：2022-11-28

Applicant: 电子科技大学

Inventor： 李宏亮 ,  问海涛 ,  孟凡满 ,  吴庆波 ,  潘力立 ,  许林峰

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/084

Abstract: 本发明提供一种基于约束参数路径的连续学习的图像分类方法，通过构造基于参数路径的图像分类模型；在训练时学习新旧图像分类任务间的参数偏移，通过使用球面优化方法预先求解出一个低遗忘方向；学习新图像分类任务时通过方向约束下降优化器，使当前路径与低遗忘方向一致；最终通过后处理策略Recall沿着路径进行回溯最终确定新任务的图像分类模型的参数。本发明利用球面优化的方式求得之前图像分类任务的低遗忘方向，并约束任务间的路径与该方向一致，同时使用学习得到的系数对路径进行放缩以取得新旧任务的平衡。本发明的图像分类模型在学习参数时具有低遗忘、平衡的稳定性与可塑性等特点。

公开(公告)号：CN119538049A

公开(公告)日：2025-02-28

申请号：CN202411654641.9

申请日：2024-11-19

Applicant: 电子科技大学

Inventor： 李宏亮 ,  戴瑀 ,  王岚晓 ,  邱荷茜 ,  邱奔流 ,  赵泰锦 ,  问海涛 ,  吴庆波 ,  孟凡满 ,  许林峰

IPC: G06F18/241 ,  G06F18/25 ,  G06F18/213 ,  G06V10/764 ,  G06V10/82 ,  G06V10/44 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/0499 ,  G06N3/096

Abstract: 该发明公开了一种基于多模态适配器的第一视角增量行为识别方法，本发明涉及视频图像处理领域。本发明旨在通过时序蒸馏损失将旧任务识别模型中的时序感知能力迁移到当前任务识别模型中，并结合模态平衡适配器，通过旧任务识别模型的特征高斯采样和当前任务识别模型的特征高斯采样实现分类层对多任务的增量识别。首先在冻结的ImageNet数据集上预训练的Vit‑B/16模型的所有Transformer编码器的前向网络层的前后以残差的形式插入多模态时序感知适配器，实现在Transformer编码器中从视觉模态、加速度模态和陀螺仪模态的特征中提取时序信息，并通过时序蒸馏损失保证当前任务识别模型和旧任务识别模型的时序信息尽可能靠近。最后，通过计算当前任务识别模型的特征均值和方差构建当前任务的特征高斯分布，并结合旧任务识别模型的特征高斯分布实现多任务的特征高斯采样，在当前任务的分类层前插入模态平衡适配器，利用采样特征和模态平衡适配器再次训练当前任务的分类层，以提高分类层对各任务的识别能力。

公开(公告)号：CN117952162A

公开(公告)日：2024-04-30

申请号：CN202311750182.X

申请日：2023-12-19

Applicant: 电子科技大学

Inventor： 李宏亮 ,  戴禹 ,  赵泰锦 ,  邱荷茜 ,  王岚晓 ,  孟凡满 ,  许林峰 ,  问海涛

IPC: G06N3/063 ,  H04N19/20 ,  H04N19/42 ,  G06N3/09

Abstract: 该发明公开了一种基于高效视频记忆网络的视频域知识记忆与迁移方法，本发明涉及视频图像处理领域。本发明旨在源视频域模型的监督下将更多视频隐式地存储在大小与存储空间预算一致的高效视频记忆网络中，并通过蒸馏损失将源视频域知识迁移到目标视频域模型中。首先通过时空编码器对类别特征均值和帧索引进行编码，而后将编码后的时空特征送入重构解码器中得到重构帧图像，并在像素级别和特征级别上对高效视频记忆网络进行监督。最后，源视频域知识通过高效视频记忆网络进行存储，同时计算源视频域知识在源视频域模型和目标视频域模型的表达之间的蒸馏损失，将知识迁移到目标视频域上。

公开(公告)号：CN117892803A

公开(公告)日：2024-04-16

申请号：CN202311781461.2

申请日：2023-12-22

Applicant: 电子科技大学

Inventor： 李宏亮 ,  问海涛 ,  潘力立 ,  戴禹 ,  邱荷茜 ,  王岚晓 ,  吴庆波 ,  许林峰

IPC: G06N3/096 ,  G06N3/045 ,  G06N3/0464 ,  G06V10/764 ,  G06V10/772 ,  G06V10/82

Abstract: 该发明公开了一种用图像识别的多教师蒸馏域知识记忆与迁移方法，属于图像识别领域。本发明通过三个策略来有效地寻找多个教师：权重重排列、特征摄动、和多样性正则。为减少多个教师在推理时间以及存储上的消耗，每个教师被表达为原始模型的一个小分支。最终，源域上的知识通过多个模型进行记忆，同时通过将源域上的多模型作为教师使用蒸馏损失将知识迁移到目标域上。本发明所提出的基于多教师蒸馏的域知识记忆与迁移方法，能够从多方位对源域知识进行高效地记忆，并通过多教师蒸馏损失有效地将知识迁移到目标域上。同时，以分支的结构表达多个教师能够显著地降低推理时间以及存储上的消耗。