公开(公告)号：CN115731396A

公开(公告)日：2023-03-03

申请号：CN202211050124.1

申请日：2022-11-28

Applicant: 辽宁工程技术大学

Inventor： 王伟 ,  张志莹 ,  武聪 ,  肖春娇 ,  张志远 ,  王鑫博 ,  谷金涛

IPC: G06V10/44 ,  G06V10/764 ,  G06N5/04 ,  G06N7/01

Abstract: 本发明公开了一种基于贝叶斯变分推断的持续学习方法，该方法包括：训练数据采用当前任务样本和生成伪样本；将训练的任务输入到模型中进行训练，经过编码器进行特征提取，获得所述任务的均值和协方差；基于贝叶斯变分推断方法得到网络中表征的后验分布，计算参数估计的不确定性；通过极大似然估计，进行训练模型分类器，得到最优分类结果；将先前经过编码器提取到的潜在特征先验分布服从高斯混合分布，通过解码器生成伪样本图像，并计算深度生成模型的损失。根据本发明的实施例，模型可以在实现动态环境中精准分类，克服持续学习过程灾难性遗忘问题，在实际场景中可以根据上下文信息进行选择，在实际应用场景中具有重要意义。

公开(公告)号：CN114492786A

公开(公告)日：2022-05-13

申请号：CN202111304190.2

申请日：2021-11-05

Applicant: 辽宁工程技术大学

Inventor： 王伟 ,  袁立娜 ,  肖春娇 ,  张志莹 ,  张志远 ,  王鑫博 ,  谷金涛

IPC: G06N3/08 ,  G06N3/04 ,  G06K9/62

Abstract: 本发明公开了一种基于ADMM的VIT剪枝算法，该算法包括两个阶段，分别为ADMM算法简化权重优化问题和VIT模型权重的裁减，目的使用ADMM算法改写模型训练的权重优化问题，利用ADMM算法将原非凸优化问题分解为两个子问题，并对子问题分别用随机梯度下降法和解析法进行迭代求解。其中ADMM算法结合剪枝算法进行模型压缩，不同的剪枝算法对模型剪枝时有不同的剪枝粒度，对模型精度的影响程度也不尽相同，本发明中的权重剪枝算法剪枝粒度小对模型精度的影响较小，滤波器剪枝可以在不依赖特殊存储设备的情况下直接大幅压缩模型规模，可以根据实际情况需要进行选择，对于VIT模型在移动端和物联网端的实际应用具有重要意义。