一种面向智能安防的视觉深度模型知识重组方法

    公开(公告)号:CN114330554B

    公开(公告)日:2025-04-08

    申请号:CN202111639661.5

    申请日:2021-12-29

    Applicant: 浙江大学

    Abstract: 一种面向智能安防的视觉深度模型知识重组方法,首先,收集安防边缘测的视觉数据,明确模型任务,收集数据进行标注,训练目标任务模型。然后,利用归因图计算目标模型和不同预训练模型之间的可迁移分数,将归一化的可迁移分数作为模型选择的概率,可放回地采样形成模型集合;在联邦学习范式的基础上,将目标模型分发到不同的节点,利用表征蒸馏迁移预训练模型的特征提取能力,在目标模型学习和迁移完成后,通过平均的方式在中心节点进行知识重组,重组过后的模型再次分发到选择的模型节点进一步迭代。最后,再利用目标数据集进行微调目标模型,从而学习得到一个在智能安防领域的目标任务上表现良好的视觉深度模型,并且保护了数据隐私和模型隐私。

    基于时序二分图神经网络的用户缺失属性补全方法与系统

    公开(公告)号:CN116881716A

    公开(公告)日:2023-10-13

    申请号:CN202310851553.7

    申请日:2023-07-12

    Applicant: 浙江大学

    Abstract: 基于时序二分图神经网络的用户缺失属性补全方法,首先,对时序用户属性矩阵进行预处理,进行数据归一化,并记录分类变量和连续变量。然后将时序用户属性矩转化为时序二分图结构,并采用图卷积神经网络来聚合提取图中节点嵌入向量和边嵌入向量,并使用LSTM融合不同时间步的节点特征;将时序二分图中预测边的两端节点的图特征拼接作为用户节点‑属性节点的边预测模型的输入;采用多个线性层构建边预测模型,引入多任务学习框架同时学习分类任务和回归任务,从而灵活处理分类变量和连续变量。最后,通过该框架来对用户缺失属性进行补全,并将结果写回原数据中。本发明还包括基于时序二分图神经网络的用户缺失属性补全方法的系统。

    面向电力巡检场景的基于特征匹配的轻量化单样本目标检测方法

    公开(公告)号:CN115761453A

    公开(公告)日:2023-03-07

    申请号:CN202211285599.9

    申请日:2022-10-20

    Applicant: 浙江大学

    Abstract: 一种面向电力巡检场景的基于特征匹配的轻量化单样本目标检测方法,包括下列步骤:1)基于掩码的基类别目标检测模型训练;2)新类别标注样本的数据增强;3)新类别标注样本的特征提取;4)模型在测试数据上的初步推理;5)使用传统特征修正推理结果。通过上述步骤,本发明实现了在每个类别标注样本极其稀少情况下(1个)的目标检测,并克服了传统单样本目标检测中依赖于测试图像类别先验知识的问题,同时还使用神经架构搜索,在尽量保持模型性能的同时减少模型的参数量。

    一种基于模型权重混合的在线知识蒸馏方法及系统

    公开(公告)号:CN115731433A

    公开(公告)日:2023-03-03

    申请号:CN202211503704.1

    申请日:2022-11-28

    Abstract: 一种基于模型权重混合的在线知识蒸馏方法及系统,包括:1)服务端收集标注数据,划分为训练集和验证集;2)选取N个相同架构的学生模型,并通过线性加权学生参数构建权重混合模型;3)选取数据增强将训练集扩充成N+1份,分别输入N个学生和权重混合模型中,得到N+1个预测输出以及他们的平均集成预测;4)计算每个学生和权重混合模型的分类损失;5)计算每个学生输出与集成预测之间的知识蒸馏损失;6)计算每个学生的参数优化目标并更新N个学生的参数;7)重复3‑6步骤,每个轮次后根据更新后的学生重新构建混合权重模型,并每隔固定轮次Δ,将混合权重模型的参数融合到学生中;8)选取验证集上表现最优的模型部署到终端设备上。

    通过投射特征训练多任务学生网络的知识融合方法

    公开(公告)号:CN110097084B

    公开(公告)日:2021-08-31

    申请号:CN201910264911.8

    申请日:2019-04-03

    Applicant: 浙江大学

    Abstract: 通过投射特征训练多任务学生网络的知识融合方法,由以下步骤组成:首先初始化TargetNet(目标学生网络)的结构与教师网络相同,通过通道编码,将TargetNet中融合的特征图投射为对应任务的特征图;逐个训练TargetNet中与教师网络对应的block,得到融合的特征图;确定TargetNet中不同任务开始分支的各自位置;将教师网络中的对应block加入学生网络,作为不同任务的分支,并移除TargetNet中末端的block,得到TargetNet最终结构;最后调优学生网络。本方法能够使用无标签数据集,融合多个不同任务的教师网络,得到性能优越的轻量级学生网络。

    一种基于知识重组的深度模型定制方法

    公开(公告)号:CN111160124A

    公开(公告)日:2020-05-15

    申请号:CN201911265084.0

    申请日:2019-12-11

    Applicant: 浙江大学

    Abstract: 一种基于知识重组的深度模型定制方法,包括:1)收集已有训练好的深度人脸属性识别模型,构建人脸属性识别模型库,将各类模型进行分组归类;2)根据当前对人脸属性识别的任务需求,将目标任务分解为一系列识别不同人脸属性的“组件任务”,并从深度模型库中选择相关的模型;3)对选中的人脸属性识别模型,进行知识过滤,将多个深度模型中,与“组件任务”相关的知识合并到“组件网络”中;4)对“组件网络”进行组合,得到最终的“目标网络”。本发明利用现有深度模型的知识,逐过程指导新模型的学习,有效减少对数据标注、数据量的依赖,降低训练新深度模型耗费的周期和资源。

    一种针对快速变异信息的小样本电信反欺诈方法和装置

    公开(公告)号:CN119130492A

    公开(公告)日:2024-12-13

    申请号:CN202411234924.8

    申请日:2024-09-04

    Abstract: 一种针对快速变异信息的小样本电信反欺诈方法和装置,其方法包括:利用通用大模型构建特征抽取器;利用新数据收集支撑数据集;利用通用大模型收集支撑数据集的特征向量;获取支撑数据集的表征向量表达,组装特征矩阵;训练扩展小模型以适配新的数据风险。本发明首先收集小样本的支持数据集,通常为几条至几十条不等,然后利用超大规模语言模型对支撑文本进行数值特征转换,保留文本语义的同时降低大样本的需求;接着在支撑文本的样例空间进行降维,保留对新风险识别精度最大贡献的维度,最后在新特征空间中训练小模型完成新风险的识别。本发明针对快速变异的电信反欺诈识别问题,提供一种可持续发展的可快速迭代的小样本电信欺诈风险识别方法。

Patent Agency Ranking