一种基于贝叶斯变分推断的持续学习方法

    公开(公告)号:CN115731396A

    公开(公告)日:2023-03-03

    申请号:CN202211050124.1

    申请日:2022-11-28

    Abstract: 本发明公开了一种基于贝叶斯变分推断的持续学习方法,该方法包括:训练数据采用当前任务样本和生成伪样本;将训练的任务输入到模型中进行训练,经过编码器进行特征提取,获得所述任务的均值和协方差;基于贝叶斯变分推断方法得到网络中表征的后验分布,计算参数估计的不确定性;通过极大似然估计,进行训练模型分类器,得到最优分类结果;将先前经过编码器提取到的潜在特征先验分布服从高斯混合分布,通过解码器生成伪样本图像,并计算深度生成模型的损失。根据本发明的实施例,模型可以在实现动态环境中精准分类,克服持续学习过程灾难性遗忘问题,在实际场景中可以根据上下文信息进行选择,在实际应用场景中具有重要意义。

    一种交替方向乘子的Visual Transformer剪枝方法

    公开(公告)号:CN114492786A

    公开(公告)日:2022-05-13

    申请号:CN202111304190.2

    申请日:2021-11-05

    Abstract: 本发明公开了一种基于ADMM的VIT剪枝算法,该算法包括两个阶段,分别为ADMM算法简化权重优化问题和VIT模型权重的裁减,目的使用ADMM算法改写模型训练的权重优化问题,利用ADMM算法将原非凸优化问题分解为两个子问题,并对子问题分别用随机梯度下降法和解析法进行迭代求解。其中ADMM算法结合剪枝算法进行模型压缩,不同的剪枝算法对模型剪枝时有不同的剪枝粒度,对模型精度的影响程度也不尽相同,本发明中的权重剪枝算法剪枝粒度小对模型精度的影响较小,滤波器剪枝可以在不依赖特殊存储设备的情况下直接大幅压缩模型规模,可以根据实际情况需要进行选择,对于VIT模型在移动端和物联网端的实际应用具有重要意义。

    一种区域特征融合的高血压视网膜病变分类方法

    公开(公告)号:CN112233789A

    公开(公告)日:2021-01-15

    申请号:CN202011083295.5

    申请日:2020-10-12

    Abstract: 本发明公开了一种区域特征融合的高血压视网膜病变分类方法,该算法提出两个阶段模型,分别为局部动静脉交叉压迫分类模型和整体高血压视网膜病变分类模型,目的将局部特征动静脉交叉压迫分类模型与整体高血压视网膜病变分类模型融合来增强高血压视网膜病变分类效果,其中动静脉交叉压迫图像块是经过血管分割、动静脉分类、交叉点检测等方法从高血压视网膜病变眼底图像中提取得到。该方法可以帮助医生尽早识别高血压视网膜病变,对高血压患者进行尽早诊断与治疗,采用神经网络可以适应海量数据,克服患者数量增多所引起的误诊、漏诊和医学水平不均衡的弊端,减轻医生负担,节省医生的宝贵时间,大大提高医生的工作效率。

    一种随机森林与灰狼优化的煤体瓦斯含量预测方法

    公开(公告)号:CN112381290A

    公开(公告)日:2021-02-19

    申请号:CN202011266874.3

    申请日:2020-11-13

    Abstract: 本发明公开了一种随机森林与灰狼优化的煤体瓦斯含量预测方法,该算法包含两个阶段,分别为随机森立预测模型的构建和灰狼优化算法的使用,目的使用灰狼优化算法来对随机森林预测模型相关参数进行最优值的选择确定,从而增强媒体瓦斯含量预测模型的识别和预测效果。其中瓦斯基础数据经过缺失值填充及特征选取两个步骤进行初始化。不同地域的煤体地质特征不同,特征选取可以对不同地域的矿井煤体数据进行针对性选取,从而增强瓦斯含量预测的精准度,因此该方法适用于不同地域的矿井。该方法可以实现瓦斯含量的有效预测,提高了工作效率,同时可以指导煤炭开采过程中瓦斯灾害预防措施的实施,对于瓦斯灾害事故的防治与煤炭的精准开采具有重要意义。

    一种基于多轮情绪分析的生成式对话系统

    公开(公告)号:CN112163080A

    公开(公告)日:2021-01-01

    申请号:CN202011083309.3

    申请日:2020-10-12

    Abstract: 针对人机对话中不能对多轮情绪语义进行准确分析而造成回答不准确的问题,通过对Transformer即多头注意力机制进行改进,提出一种基于多轮情绪分析的生成式对话模型。考虑编码端的多轮对话的情绪,在解码端嵌入情绪向量。在解码开始时,依据第一个情绪向量能以很大概率生成第一个符合当前的语境的词,之后每一个词都嵌入这个向量来限制语境。为防止生成像“我不知道”,“呵呵”等万能词,将输出函数进行基于Maximum Mutual Information(MMI)的优化。

Patent Agency Ranking