-
公开(公告)号:CN111582446A
公开(公告)日:2020-08-25
申请号:CN202010349768.5
申请日:2020-04-28
Applicant: 北京达佳互联信息技术有限公司
Abstract: 本申请涉及神经网络技术领域,公开了一种用于神经网络剪枝的系统和神经网络的剪枝处理方法,用以筛选出能够减少神经网络的参数量和提高神经网络的运算速度的剪枝率组。该系统包括剪枝器、性能检测仪和控制器,其中,剪枝器用于在控制器的控制下,根据当前剪枝率组对当前神经网络进行剪枝;性能检测仪用于在控制器的控制下,对加载了剪枝后的神经网络的加速器进行检测,确定剪枝后的神经网络的运行速度;控制器用于控制剪枝器和性能检测仪执行相应的操作,检测并筛选出运行速度符合第一筛选条件和参数量符合第二筛选条件的当前剪枝率组。从多个当前剪枝率组中筛选出能够减少神经网络的参数量,和提高神经网络的运算速度的剪枝率组。
-
公开(公告)号:CN113159188B
公开(公告)日:2024-03-12
申请号:CN202110444362.X
申请日:2021-04-23
Applicant: 北京达佳互联信息技术有限公司 , 北京交通大学
IPC: G06V10/764 , G06V10/82 , G06N3/08 , G06N3/04 , G06V10/774
Abstract: 本公开关于一种模型生成方法、装置、设备及存储介质,涉及计算机技术领域,可以在保证现有神经网络模型性能不变的情况下,有效压缩神经网络模型。该模型生成方法包括:基于神经网络架构搜索算法,从与样本数据对应的搜索空间中获取初始模型;初始模型中的第一节点与第二节点之间通过初始边连接;初始边用于表示第一节点与第二节点之间执行的候选操作;初始边对应一个边权重;基于样本数据,对初始模型执行预设次数的训练操作,以得到第一模型;若第一模型中,与初始模型中的初始边对应的目标边的边权重满足预设条件,则对第一模型中的目标边进行裁剪,以得到目标模型。
-
公开(公告)号:CN110969240B
公开(公告)日:2022-12-09
申请号:CN201911115521.0
申请日:2019-11-14
Applicant: 北京达佳互联信息技术有限公司
IPC: G06N3/04
Abstract: 本公开关于一种深度卷积神经网络的剪枝方法、装置、设备及介质,用以在提高剪枝准确度的同时,减少对深度卷积神经网络剪枝的计算量,优化深度卷积神经网络模型结构。本公开的深度卷积神经网络的剪枝方法,包括:利用预先训练的深度卷积神经网络对样本数据进行识别,确定深度卷积神经网络内每层网络中各个滤波器的性能参数,样本数据用于记录采集到的待识别对象的对象特征;根据预设剪枝率及深度卷积神经网络内各个滤波器的性能参数,确定深度卷积神经网络的剪枝参数;在深度卷积神经网络中,根据各滤波器的性能参数与剪枝参数,去除不符合预设条件的滤波器与上层网络和下层网络之间的联系。
-
公开(公告)号:CN113159318A
公开(公告)日:2021-07-23
申请号:CN202110444570.X
申请日:2021-04-23
Applicant: 北京达佳互联信息技术有限公司 , 北京交通大学
Abstract: 本公开关于一种神经网络的量化方法、装置、电子设备及存储介质,涉及计算机技术领域,该方法包括:获取训练样本图像以及该训练样本图像的类型,并将该训练样本图像输入到第一模型,得到预测分类结果;根据该预测分类结果、该训练样本图像的类型、该初始权重以及该初始量化步长,确定第一梯度;基于该第一梯度、该初始量化步长以及该第一模型对应的学习率更新该初始量化步长;基于更新后的量化步长,调整该第一模型中的权重,以得到量化后的模型。本公开中,电子设备能够合理、有效地确定出量化后的模型,即在保障量化后的模型体积较小的同时,提升该量化后的模型的预测准确性。
-
公开(公告)号:CN113159188A
公开(公告)日:2021-07-23
申请号:CN202110444362.X
申请日:2021-04-23
Applicant: 北京达佳互联信息技术有限公司 , 北京交通大学
Abstract: 本公开关于一种模型生成方法、装置、设备及存储介质,涉及计算机技术领域,可以在保证现有神经网络模型性能不变的情况下,有效压缩神经网络模型。该模型生成方法包括:基于神经网络架构搜索算法,从与样本数据对应的搜索空间中获取初始模型;初始模型中的第一节点与第二节点之间通过初始边连接;初始边用于表示第一节点与第二节点之间执行的候选操作;初始边对应一个边权重;基于样本数据,对初始模型执行预设次数的训练操作,以得到第一模型;若第一模型中,与初始模型中的初始边对应的目标边的边权重满足预设条件,则对第一模型中的目标边进行裁剪,以得到目标模型。
-
公开(公告)号:CN110969240A
公开(公告)日:2020-04-07
申请号:CN201911115521.0
申请日:2019-11-14
Applicant: 北京达佳互联信息技术有限公司
IPC: G06N3/04
Abstract: 本公开关于一种深度卷积神经网络的剪枝方法、装置、设备及介质,用以在提高剪枝准确度的同时,减少对深度卷积神经网络剪枝的计算量,优化深度卷积神经网络模型结构。本公开的深度卷积神经网络的剪枝方法,包括:利用预先训练的深度卷积神经网络对样本数据进行识别,确定深度卷积神经网络内每层网络中各个滤波器的性能参数,样本数据用于记录采集到的待识别对象的对象特征;根据预设剪枝率及深度卷积神经网络内各个滤波器的性能参数,确定深度卷积神经网络的剪枝参数;在深度卷积神经网络中,根据各滤波器的性能参数与剪枝参数,去除不符合预设条件的滤波器与上层网络和下层网络之间的联系。
-
公开(公告)号:CN113159318B
公开(公告)日:2024-07-12
申请号:CN202110444570.X
申请日:2021-04-23
Applicant: 北京达佳互联信息技术有限公司 , 北京交通大学
IPC: G06N3/08 , G06F18/241 , G06F18/214 , G06N3/0464
Abstract: 本公开关于一种神经网络的量化方法、装置、电子设备及存储介质,涉及计算机技术领域,该方法包括:获取训练样本图像以及该训练样本图像的类型,并将该训练样本图像输入到第一模型,得到预测分类结果;根据该预测分类结果、该训练样本图像的类型、该初始权重以及该初始量化步长,确定第一梯度;基于该第一梯度、该初始量化步长以及该第一模型对应的学习率更新该初始量化步长;基于更新后的量化步长,调整该第一模型中的权重,以得到量化后的模型。本公开中,电子设备能够合理、有效地确定出量化后的模型,即在保障量化后的模型体积较小的同时,提升该量化后的模型的预测准确性。
-
公开(公告)号:CN111582446B
公开(公告)日:2022-12-06
申请号:CN202010349768.5
申请日:2020-04-28
Applicant: 北京达佳互联信息技术有限公司
Abstract: 本申请涉及神经网络技术领域,公开了一种用于神经网络剪枝的系统和神经网络的剪枝处理方法,用以筛选出能够减少神经网络的参数量和提高神经网络的运算速度的剪枝率组。该系统包括剪枝器、性能检测仪和控制器,其中,剪枝器用于在控制器的控制下,根据当前剪枝率组对当前神经网络进行剪枝;性能检测仪用于在控制器的控制下,对加载了剪枝后的神经网络的加速器进行检测,确定剪枝后的神经网络的运行速度;控制器用于控制剪枝器和性能检测仪执行相应的操作,检测并筛选出运行速度符合第一筛选条件和参数量符合第二筛选条件的当前剪枝率组。从多个当前剪枝率组中筛选出能够减少神经网络的参数量,和提高神经网络的运算速度的剪枝率组。
-
-
-
-
-
-
-