-
公开(公告)号：CN117391136A
公开(公告)日：2024-01-12
申请号：CN202311381800.8
申请日：2023-10-24
Applicant: 厦门大学
Abstract: 基于动态知识线索权重的知识蒸馏方法，属于图像识别领域。设计一个元权重网络W，用于对不同知识线索的最佳分配方式进行实例层面的动态估计，生成基于元学习的有关知识线索的权重估计；提出一个基于元学习的内外循环优化框架，用于对元权重网络W进行有效训练，以减轻元权重网络有关学生学习程度的估计偏差；提出一种通过历史集成的方式滑动生成更鲁棒的知识线索权重的策略，用于减少权重生成的瞬态波动，提高权重估计的稳定性；该策略考虑历史静态数据，通过指定阈值的方式自适应地调整知识线索权重的生成方式。根据学生学习能力的变化，在蒸馏过程中动态调整不同知识线索的权重系数，从而提升蒸馏效果。
-
公开(公告)号：CN117973499A
公开(公告)日：2024-05-03
申请号：CN202410012082.5
申请日：2024-01-03
Applicant: 厦门大学
IPC: G06N3/096 , G06N3/0495 , G06N3/045 , G06N3/0464
Abstract: 本发明公开了一种基于教师微调的量化感知蒸馏方法及装置，其中方法包括：将训练数据集输入到伪学生模型进行梯度更新，以得到更新后的伪学生模型；将查询集输入到更新后的伪学生模型，以得到分类损失，以便通过分类损失对教师模型进行梯度更新，以得到微调后的教师模型；将训练数据集输入到学生网络模块和微调后的教师模型以得到对应的第一输出结果和第二输出结果，以及根据第一输出结果和第二输出结果得到余弦相识度，并根据余弦相识度得到最终的损失函数，以便根据最终的损失函数对学生网络模块进行更新；从而缩小全精度教师模型和低精度学生模型之间的性能差距，并提高蒸馏效果。
-
Patent Agency Ranking
公开(公告)号：CN116452692A
公开(公告)日：2023-07-18
申请号：CN202310429341.X
申请日：2023-04-20
Applicant: 厦门大学
Abstract: 基于孪生神经网络的自监督快速CS‑MRI重建方法，涉及MRI图像重建，1)将欠采样k空间测量值划分为两个互不相交的训练分量和损失分量，重建网络以训练分量作为输入，损失分量作为约束，得到一个预训练的CS‑MRI重建网络，保留重建网络的参数；2)基于步骤1)所得两个孪生神经网络，冻结其中一个网络的参数，分别以欠采样k空间数据和重采样k空间数据为输入，对两个网络的输出作一致性惩罚训练重建网络，孪生网络重建能力变强后替换冻结参数的重建网络，迭代该过程得到训练好的CS‑MRI重建网络；3)基于步骤2)所得CS‑MRI重建网络的测试。实现快速、高清晰度和高质量的MRI图像重建，减少运动伪影。
-
公开(公告)号：CN118506149A
公开(公告)日：2024-08-16
申请号：CN202410549662.8
申请日：2024-05-06
Applicant: 厦门大学
Abstract: 本发明公开了一种基于局部注意力与上下文关系的目标检测知识蒸馏方法，包括：获取图像数据，以便获取每张图像中的每个目标在对应层级多尺度特征图中的前景掩码、前景权重掩码和背景掩码；根据前景掩码和背景掩码分别获取教师模型和学生模型对应的每张图像中的每个目标在对应层级多尺度特征图上经过与之对应的注意力图加权后的前景特征和背景特征；根据前景特征、前景权重掩码和背景特征得到前景损失和背景损失，以便得到第一蒸馏损失；根据前景掩码和背景掩码分别获取教师模型和学生模型对应的目标关系矩阵和目标‑背景关系矩阵，以便得到第二蒸馏损失；根据第一蒸馏损失和第二蒸馏损失对学生模型进行知识蒸馏；从而提高对复杂场景的检测效果。
-
公开(公告)号：CN116958001A
公开(公告)日：2023-10-27
申请号：CN202310830079.X
申请日：2023-07-07
Applicant: 国网福建省电力有限公司建设分公司 , 国网福建省电力有限公司 , 厦门大学
Abstract: 一种低资源消耗的可见光和红外图像融合方法，属于多源图像融合领域。该方法首先通过无人机挂载的低功耗、低分辨率光学及红外传感器捕获小分辨率的可见光、红外图像；然后利用局部隐式图像函数学习源图像的连续表示以获得高分辨率的源图像特征；其次利用基于空间与通道注意力模型构建的融合策略保留两幅源图像的高价值特征信息；最后将加权融合得到的融合特征送入解码器重构出高质量、高分辨率的融合图像；本发明有效地规避了可见光和红外图像融合领域对高分辨率源图像的依赖，可以实现仅需采用低功耗的传感器采集图像便能获得高分辨率的融合结果。
-
公开(公告)号：CN117391135A
公开(公告)日：2024-01-12
申请号：CN202311381756.0
申请日：2023-10-24
Applicant: 厦门大学
Abstract: 基于价值感知和知识摘要的自适应蒸馏方法，属于图像识别领域。引入价值量化与评价机制，挖掘来自教师的知识在不同训练阶段对学生的不同价值。让学生主动识别信息量大的知识点，逐步浓缩出核心知识集以对知识进行提炼。通过简单的方式应用于当前知识蒸馏方法之中，基于对学生学习能力动态变化的观察提出一种能够有效避免知识冗余的方法，在去除知识冗余，提高学生模型能力上限的同时，还能够得到一个浓缩知识集，以加快蒸馏速度。在加快学生模型训练速度的同时提升学生模型能力，提高蒸馏效率和蒸馏效果。
-
公开(公告)号：CN116309921A
公开(公告)日：2023-06-23
申请号：CN202310446933.2
申请日：2023-04-24
Applicant: 厦门大学
Abstract: 基于CUDA技术的延迟求和声成像并行加速方法，属于声信号处理领域及神经网络领域，用于解决传统延迟求和算法计算复杂度高等问题。包括以下步骤：1)假定转向矢量是具有空间排布的，将转向矢量整体视为特征图；2)将特征图中的每个条形向量与互谱矩阵依次进行矩阵运算且运算后通道数保持不变；3)将和互谱矩阵做完运算的结果与原始的转向矢量相乘，得到最终该条形特征向量的功率。将互谱矩阵和转向矢量的大维度矩阵设计成卷积网络，利用GPU并行加速运算，结果能够比传统的延迟求和算法的运算时间提高将近100倍，从而达到在工业应用中的实时成像需求。
-
-
-
-
-
-
Search Results
7
records
(took 0.016 seconds)
