-
公开(公告)号：CN117973499A
公开(公告)日：2024-05-03
申请号：CN202410012082.5
申请日：2024-01-03
Applicant: 厦门大学
IPC: G06N3/096 , G06N3/0495 , G06N3/045 , G06N3/0464
Abstract: 本发明公开了一种基于教师微调的量化感知蒸馏方法及装置，其中方法包括：将训练数据集输入到伪学生模型进行梯度更新，以得到更新后的伪学生模型；将查询集输入到更新后的伪学生模型，以得到分类损失，以便通过分类损失对教师模型进行梯度更新，以得到微调后的教师模型；将训练数据集输入到学生网络模块和微调后的教师模型以得到对应的第一输出结果和第二输出结果，以及根据第一输出结果和第二输出结果得到余弦相识度，并根据余弦相识度得到最终的损失函数，以便根据最终的损失函数对学生网络模块进行更新；从而缩小全精度教师模型和低精度学生模型之间的性能差距，并提高蒸馏效果。
-
公开(公告)号：CN117391136A
公开(公告)日：2024-01-12
申请号：CN202311381800.8
申请日：2023-10-24
Applicant: 厦门大学
Abstract: 基于动态知识线索权重的知识蒸馏方法，属于图像识别领域。设计一个元权重网络W，用于对不同知识线索的最佳分配方式进行实例层面的动态估计，生成基于元学习的有关知识线索的权重估计；提出一个基于元学习的内外循环优化框架，用于对元权重网络W进行有效训练，以减轻元权重网络有关学生学习程度的估计偏差；提出一种通过历史集成的方式滑动生成更鲁棒的知识线索权重的策略，用于减少权重生成的瞬态波动，提高权重估计的稳定性；该策略考虑历史静态数据，通过指定阈值的方式自适应地调整知识线索权重的生成方式。根据学生学习能力的变化，在蒸馏过程中动态调整不同知识线索的权重系数，从而提升蒸馏效果。
-
公开(公告)号：CN117391135A
公开(公告)日：2024-01-12
申请号：CN202311381756.0
申请日：2023-10-24
Applicant: 厦门大学
Abstract: 基于价值感知和知识摘要的自适应蒸馏方法，属于图像识别领域。引入价值量化与评价机制，挖掘来自教师的知识在不同训练阶段对学生的不同价值。让学生主动识别信息量大的知识点，逐步浓缩出核心知识集以对知识进行提炼。通过简单的方式应用于当前知识蒸馏方法之中，基于对学生学习能力动态变化的观察提出一种能够有效避免知识冗余的方法，在去除知识冗余，提高学生模型能力上限的同时，还能够得到一个浓缩知识集，以加快蒸馏速度。在加快学生模型训练速度的同时提升学生模型能力，提高蒸馏效率和蒸馏效果。
-
公开(公告)号：CN118506149A
公开(公告)日：2024-08-16
申请号：CN202410549662.8
申请日：2024-05-06
Applicant: 厦门大学
Abstract: 本发明公开了一种基于局部注意力与上下文关系的目标检测知识蒸馏方法，包括：获取图像数据，以便获取每张图像中的每个目标在对应层级多尺度特征图中的前景掩码、前景权重掩码和背景掩码；根据前景掩码和背景掩码分别获取教师模型和学生模型对应的每张图像中的每个目标在对应层级多尺度特征图上经过与之对应的注意力图加权后的前景特征和背景特征；根据前景特征、前景权重掩码和背景特征得到前景损失和背景损失，以便得到第一蒸馏损失；根据前景掩码和背景掩码分别获取教师模型和学生模型对应的目标关系矩阵和目标‑背景关系矩阵，以便得到第二蒸馏损失；根据第一蒸馏损失和第二蒸馏损失对学生模型进行知识蒸馏；从而提高对复杂场景的检测效果。
-
-
-
Search Results
4
records
(took 0.014 seconds)
