一种基于头部输出特征自适应匹配的知识蒸馏方法

    公开(公告)号:CN117152810B

    公开(公告)日:2025-04-11

    申请号:CN202311012547.9

    申请日:2023-08-11

    Abstract: 本发明公开了一种基于头部特征自适应匹配的知识蒸馏方法,对教师网络和学生网络的输出层特征进行排序和修剪处理,将注意力集中到修剪处理后得到的头部特征中,根据相应的排序方式计算头部蒸馏损失;再将头部特征中包含目标类信息的特征层修剪得到主体特征,在主体特征中进行自适应匹配,根据相应的排序方式计算自适应输出特征损失;利用总蒸馏损失促使学生网络学习主要输出特征层的类间相似度信息。本发明利用了非目标类知识的信息并且融合了自适应注意力匹配的方法,定位到含更多泛化信息的主体特征,自适应地提取到更有利于学生网络学习的分类信息,提升了学生网络对陌生数据集的适应性,同时也增强了模型的泛化性和鲁棒性。

    基于类别统计驱动的伪标签自蒸馏语义分割方法

    公开(公告)号:CN116958548B

    公开(公告)日:2024-08-27

    申请号:CN202310902217.0

    申请日:2023-07-21

    Abstract: 本发明公开了一种基于类别统计驱动的伪标签自蒸馏语义分割方法,属于计算机图像处理技术,在训练过程中对教师模型语义类别概率信息进行统计,并根据概率分布特性将类别标签进行平滑处理,将平滑标签与教师模型输出语义类别概率信息的加权均值作为学生模型的监督信息,有效地提升了类别统计驱动下的伪标签自蒸馏语义分割的效果。本发明公开的基于类别统计驱动的伪标签自蒸馏语义分割方法,将经过平滑处理的标签与教师模型输出语义类别概率信息加权均值作为学生模型的监督信息,改善了在训练过程中标签硬化难以拟合以及人为平滑操作引入标签噪声的问题,解决了蒸馏过程中因教师模型类别预测错误导致学生网络知识学习受到噪声标签影响的问题。

    一种融合字词和关系信息的中文实体关系联合抽取方法

    公开(公告)号:CN118504525A

    公开(公告)日:2024-08-16

    申请号:CN202410568922.6

    申请日:2024-05-09

    Abstract: 本发明公开了一种融合字词和关系信息的中文实体关系联合抽取方法,利用中文分词器获取字词两种细粒度的中文文本,提出了字词位置上下文融合编码器,实现将字、词细粒度文本、位置信息、上下文信息融合编码,获取包含字、词、位置、上下文信息的编码词向量,提出了基于先验关系交叉融合机制的编码器,将先验关系信息融入实体关系联合抽取中,本发明考虑到中文的语法特点,充分结合字信息、词信息、位置信息、关系信息,构建实体识别和关系抽取的内在联系,克服了现有关系抽取中所存在的不足,有效提高的中文文本实体关系联合抽取准确率。

    不同时间尺度下多节点多元负荷联邦协同预测方法

    公开(公告)号:CN117436576B

    公开(公告)日:2024-08-09

    申请号:CN202311315635.6

    申请日:2023-10-11

    Abstract: 本发明公开了不同时间尺度下多节点多元负荷联邦协同预测方法,包括如下三个阶段,第一阶段使用样条插值法对时间尺度较大的负荷数据进行插值补充,将负荷数据统一至相同的时间尺度,第二阶段利用每个节点自身数据得到它的本地多元负荷预测模型;第三阶段在不泄露数据隐私的前提下,对各节点模型进行联邦学习融合训练;训练完成后,在节点内对模型进行微调。使用本方法的模型得到的负荷预测结果更接近真实值。特别地,针对负荷波动幅度较大、负荷波动幅度小但频率高等复杂场景,本文所提算法都有最好的电气负荷预测结果。

Patent Agency Ranking