-
公开(公告)号：CN112836757A
公开(公告)日：2021-05-25
申请号：CN202110177124.7
申请日：2021-02-09
Applicant: 东南大学
Abstract: 本发明公开了一种深度学习网络卷积核内部参数共享方法，包括：(1)对网络进行预训练；(2)对(1)的网络各层的卷积输入通道使用Kmeans聚类函数进行聚类；(3)对(2)中具有属于一类的输入通道共享一个二维矩阵参数；(4)对网络进行再训练提升预测结果。经测试本发明在对精度基本无影响的前提下可使得卷积神经网络的参数与计算量减少超过40％，加快了神经网络的推理速度，并且在低的共享率下，甚至可以提高网络的测试集推理准确度，使其准确度超越在同样的训练集、同样的训练批次下未经本方法优化的原始神经网络。
-
公开(公告)号：CN112801280B
公开(公告)日：2022-11-08
申请号：CN202110263635.0
申请日：2021-03-11
Applicant: 东南大学
Abstract: 本发明公开了一种视觉深度自适应神经网络的一维卷积位置编码方法，包括：1)将输入的批量图片分为N2个片段，图片通道数由C转换为D，并将宽高维度展开为1维；2)将通道维度与宽高维度进行置换；3)将2)结果与分类表征拼接，分类表征是一个可学习的向量；4)将3)结果进行一维卷积，将卷积结果作为位置编码，并将位置编码与3)结果进行相加；5)用1)‑4)过程作为该模型的嵌入模块，在之后使用堆叠的编码模块；6)对1)‑5)所提出的网络在大规模数据集上进行预训练；7)在预训练模型的基础上训练基准数据集。一维卷积位置编码技术经验证对于深度自适应神经网络在视觉领域应用的精度有显著提升效果。
-
公开(公告)号：CN112836757B
公开(公告)日：2025-02-28
申请号：CN202110177124.7
申请日：2021-02-09
Applicant: 东南大学
IPC: G06N3/0464 , G06N3/084 , G06N5/04 , G06F18/23213
Abstract: 本发明公开了一种深度学习网络卷积核内部参数共享方法，包括：(1)对网络进行预训练；(2)对(1)的网络各层的卷积输入通道使用Kmeans聚类函数进行聚类；(3)对(2)中具有属于一类的输入通道共享一个二维矩阵参数；(4)对网络进行再训练提升预测结果。经测试本发明在对精度基本无影响的前提下可使得卷积神经网络的参数与计算量减少超过40％，加快了神经网络的推理速度，并且在低的共享率下，甚至可以提高网络的测试集推理准确度，使其准确度超越在同样的训练集、同样的训练批次下未经本方法优化的原始神经网络。
-
公开(公告)号：CN112801280A
公开(公告)日：2021-05-14
申请号：CN202110263635.0
申请日：2021-03-11
Applicant: 东南大学
Abstract: 本发明公开了一种视觉深度自适应神经网络的一维卷积位置编码方法，包括：1)将输入的批量图片分为N2个片段，图片通道数由C转换为D，并将宽高维度展开为1维；2)将通道维度与宽高维度进行置换；3)将2)结果与分类表征拼接，分类表征是一个可学习的向量；4)将3)结果进行一维卷积，将卷积结果作为位置编码，并将位置编码与3)结果进行相加；5)用1)‑4)过程作为该模型的嵌入模块，在之后使用堆叠的编码模块；6)对1)‑5)所提出的网络在大规模数据集上进行预训练；7)在预训练模型的基础上训练基准数据集。一维卷积位置编码技术经验证对于深度自适应神经网络在视觉领域应用的精度有显著提升效果。
-
-
-
Search Results
4
records
(took 0.015 seconds)
