-
-
公开(公告)号：CN115600650A
公开(公告)日：2023-01-13
申请号：CN202211363959.2
申请日：2022-11-02
Applicant: 华侨大学(CN)
Abstract: 本发明基于强化学习的自动化卷积神经网络量化剪枝方法，先获取图像的数据集，利用已初始化的模型对图像进行预训练，得到每个滤波器所输出特征图的平均秩，将平均秩结合滤波器的全局重要性排序，获得滤波器重要性信息；通过强化学习实现自动化神经网络模型量化与剪枝操作，获得模型精度最高的神经网络模型压缩策略，获取最终的剪枝完成以后的神经网络模型。本发明将卷积层中滤波器按照对模型精度影响的重要程度并结合平均秩大小进行全局排序，秩的大小与滤波器重要性大小具有一致性，同时对重要性高的滤波器权重参数分配较高bit位数，从而达到最大程度的精度保留，能将应用于高性能计算机上的神经网络压缩后部署于计算与存储较弱的移动边缘设备上。
-
公开(公告)号：CN113505881A
公开(公告)日：2021-10-15
申请号：CN202110802198.5
申请日：2021-07-15
Applicant: 华侨大学
Abstract: 本发明提供一种面向异构设备的分布式神经网络训练方法、装置及介质，所述方法包括：步骤10、计算每一设备端面向不同数据源的算力值；步骤20、进行模型分割，将原始深度模型分割给各个设备端，使得每一设备端到各自的分割模型；步骤30、在每一设备端上以自身输出和设定的迭代次数对分割模型训练，并在迭代完成后将模型参数进行加密处理后上传至服务端，服务端获取各个设备端的加密信息并解析得到模型参数，利用各个设备端的模型参数对原始深度模型进行更新，完成分布式训练。本发明可实现大规模场景的训练需求，同时实现隐私保护和模型压缩，提高安全性和训练效率。
-
公开(公告)号：CN113011588A
公开(公告)日：2021-06-22
申请号：CN202110428305.2
申请日：2021-04-21
Applicant: 华侨大学
Abstract: 本发明提供一种卷积神经网络的剪枝方法、装置、设备和介质，方法包括：获取图像的数据集并分为训练集与验证集；将待剪枝的卷积神经网络模型进行初始化后，对训练集中的图像进行多轮预训练，确定网络的敏感层；通过强化学习进行多轮自动化剪枝操作，得到每轮剪枝操作的模型精确度，从而获得模型精度最高的模型剪枝策略；其间，根据强化学习的确定性策略，对网络的敏感层和非敏感层实行不同的压缩策略，来对各网络层的滤波器数量进行剪枝；执行微调操作，得到最终的卷积神经网络模型。本发明从模型剪枝的最开始就介入强化学习，根据环境优化模型的剪枝策略，且剪枝的对象是完整滤波器，不会造成模型的不规则，大大提高了泛化性。
-
-
-
Search Results
24
records
(took 0.021 seconds)
