一种基于空间正反对角卷积的神经网络压缩方法

    公开(公告)号:CN109886391B

    公开(公告)日:2023-04-28

    申请号:CN201910089080.5

    申请日:2019-01-30

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于空间正反对角卷积的神经网络压缩方法,对许多场景而言,卷积神经网络是目前计算机视觉和数字图像处理解决方案的核心,但卷积神经网络的计算复杂度和参数数量仍然是各种应用场景的限制因素。为了提高卷积神经网络的计算效率,减少网络的参数个数,本发明在空间上,将一对连续的传统方形卷积核替换为正反对角卷积核,先进行正对角卷积操作,然后经过批归一化和非线性函数激活处理后,再进行反对角卷积操作,在保留了更有效的局部感受中心的前提下进一步降低了卷积神经网络的计算复杂度,加快了网络传播速度,同时对角卷积具有一定的正则化效果,提高了网络的鲁棒性,降低了模型的过拟合,网络压缩后的整体效果提升明显。

    视觉深度自适应神经网络的一维卷积位置编码方法

    公开(公告)号:CN112801280B

    公开(公告)日:2022-11-08

    申请号:CN202110263635.0

    申请日:2021-03-11

    Applicant: 东南大学

    Abstract: 本发明公开了一种视觉深度自适应神经网络的一维卷积位置编码方法,包括:1)将输入的批量图片分为N2个片段,图片通道数由C转换为D,并将宽高维度展开为1维;2)将通道维度与宽高维度进行置换;3)将2)结果与分类表征拼接,分类表征是一个可学习的向量;4)将3)结果进行一维卷积,将卷积结果作为位置编码,并将位置编码与3)结果进行相加;5)用1)‑4)过程作为该模型的嵌入模块,在之后使用堆叠的编码模块;6)对1)‑5)所提出的网络在大规模数据集上进行预训练;7)在预训练模型的基础上训练基准数据集。一维卷积位置编码技术经验证对于深度自适应神经网络在视觉领域应用的精度有显著提升效果。

    基于通道注意力模块的轻量级神经网络模型

    公开(公告)号:CN113344188A

    公开(公告)日:2021-09-03

    申请号:CN202110676000.3

    申请日:2021-06-18

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于通道注意力模块的轻量级神经网络模型,该模型基本模块是由深度可分离卷积、逐点卷积以及通道注意力模块相互结合而成。利用深度可分离卷积替换标准卷积能够降低参数量与计算量,而逐点卷积能够实现跨通道之间图像特征信息的融合;最后引入通道注意力机制,一方面增加图像特征信息之间的交互,提升卷积效率,另一方面则能够通过学习图像全局信息来有选择性地加强包含有用信息的特征并抑制无用信息特征。基于此构建的轻量级神经网络模型DCCANet相比于目前主流轻量级神经网络模型,在COCO数据集目标检测与实例分割任务中,检测精度与实例分割精度以及响应速度都有了明显的提升。

    一种基于查找表计算的双层同或二值神经网络压缩方法

    公开(公告)号:CN109993279A

    公开(公告)日:2019-07-09

    申请号:CN201910178528.0

    申请日:2019-03-11

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于查找表计算的双层同或二值神经网络压缩方法,所述压缩方法由双层卷积结构完成,其算法包括以下步骤:首先,将输入特征图经过非线性激活、批归一化和二值激活后,分组进行不同卷积核尺寸的第一层卷积操作得到第一层输出结果;然后,对第一层输出结果采用1×1大小的第二层卷积操作得到输出特征图。在硬件实现上,对改进的双层卷积使用双层并行计算的三输入同或操作代替了传统双层顺序计算方式,并将所有的双层卷积操作都使用查找表方式完成计算,提高硬件资源利用率。本发明提供压缩方法是一种融合全精度高效神经网络技巧和查找表计算方式的算法硬件协同压缩方案,在结构上有较好的压缩效果,在硬件上也减少了逻辑资源消耗。

    一种交错菱形感知的卷积神经网络池化方法

    公开(公告)号:CN109886404A

    公开(公告)日:2019-06-14

    申请号:CN201910104250.2

    申请日:2019-02-01

    Applicant: 东南大学

    Abstract: 本发明公开了一种交错菱形感知的卷积神经网络池化方法,包括如下步骤:神经网络卷积层四周增加空白行列;使用菱形池化窗口取代方形池化窗口,自左而右自上而下地滑动,使行内重叠,行间交错;采用反向传播算法训练含有交错菱形池化的卷积神经网络,求出每个神经元的梯度,得到新的权重。本发明改变局部感受野的形状和位置,优化了池化层特征提取方式,采用一范数约束感受野,保留了更有效的局部感受中心,使用交错的计算方式,保证有特征中心的行部分重叠,没有特征中心的行恰好交错,增加网络的非对称性的同时减少了冗余的计算。

    将不锈钢衬于钢管内壁的装置及方法

    公开(公告)号:CN1169639C

    公开(公告)日:2004-10-06

    申请号:CN02138211.5

    申请日:2002-09-03

    Applicant: 东南大学

    Inventor: 李国庆 余焜

    Abstract: 将不锈钢衬套附着在钢管内壁的方法和装置属于钢管内壁防腐处理的技术领域。该装置包括钢管、不锈钢衬套、左封头、右封头、导管,不锈钢衬套位于钢管的内壁,左封头和右封头分别位于不锈钢衬套的两端,右封头中设有一根导管,在钢管外或内部设有加热装置在钢管外或内部设有加热装置。首先通过导管向不锈钢衬套中注入一定量的水或油,再将压力表与导管连接,然后对不锈钢衬套以及其中的水或油菜加热,持续一段时间后,自然冷却,倒出管中的水或油,即完成将不锈钢衬套附着在钢管内壁的工艺。对不锈钢衬套以及其中的水加热的方式可为外加热,也可直接利用不锈钢衬套作为加热器件加热。

    将不锈钢衬于钢管内壁的装置及方法

    公开(公告)号:CN1398686A

    公开(公告)日:2003-02-26

    申请号:CN02138211.5

    申请日:2002-09-03

    Applicant: 东南大学

    Inventor: 李国庆 余焜

    Abstract: 将不锈钢衬套附着在钢管内壁的方法和装置属于钢管内壁防腐处理的技术领域。该装置包括钢管、不锈钢衬套、左封头、右封头、导管,不锈钢衬套位于钢管的内壁,左封头和右封头分别位于不锈钢衬套的两端,右封头中设有一根导管,在钢管外或内部设有加热装置在钢管外或内部设有加热装置。首先通过导管向不锈钢衬套中注入一定量的水或油,再将压力表与导管连接,然后对不锈钢衬套以及其中的水或油菜加热,持续一段时间后,自然冷却,倒出管中的水或油,即完成将不锈钢衬套附着在钢管内壁的工艺。对不锈钢衬套以及其中的水加热的方式可为外加热,也可直接利用不锈钢衬套作为加热器件加热。

    一种深度学习网络卷积核内部参数共享方法

    公开(公告)号:CN112836757A

    公开(公告)日:2021-05-25

    申请号:CN202110177124.7

    申请日:2021-02-09

    Applicant: 东南大学

    Abstract: 本发明公开了一种深度学习网络卷积核内部参数共享方法,包括:(1)对网络进行预训练;(2)对(1)的网络各层的卷积输入通道使用Kmeans聚类函数进行聚类;(3)对(2)中具有属于一类的输入通道共享一个二维矩阵参数;(4)对网络进行再训练提升预测结果。经测试本发明在对精度基本无影响的前提下可使得卷积神经网络的参数与计算量减少超过40%,加快了神经网络的推理速度,并且在低的共享率下,甚至可以提高网络的测试集推理准确度,使其准确度超越在同样的训练集、同样的训练批次下未经本方法优化的原始神经网络。

Patent Agency Ranking