公开(公告)号：CN111832704A

公开(公告)日：2020-10-27

申请号：CN202010611409.2

申请日：2020-06-30

Applicant: 东南大学

Inventor： 张萌 ,  曹晗翔 ,  范津安 ,  张倩茹 ,  朱佳蕾

IPC: G06N3/04

Abstract: 本发明公开了一种卷积输入式的嵌套递归神经网络的设计方法，包括如下步骤：将当前时刻输入数据和上时刻输出数据进行数据组合和卷积操作处理；对卷积后的结果进行均等拆分，作为原长短期记忆网络单元中的各个门控单元；在内层嵌套单元中进行卷积操作作为输入，再进行和长短期记忆网络单元相同的门控计算操作，得出内层嵌套单元的输出；将内层嵌套单元的输出作为外层单元的记忆单元值，再经由输出门得到整体单元的最终输出值。本发明提出了嵌套式的递归神经网络和卷积输入的结合，既提高了模型对拟合长时间关联的数据的性能，又提取了特征关系之间的局部关联，减少了一定的参数量；得较一般的递归神经网络具有更高的准确率和更少的参数。

公开(公告)号：CN109993279B

公开(公告)日：2023-08-04

申请号：CN201910178528.0

申请日：2019-03-11

Applicant: 东南大学

Inventor： 张萌 ,  李建军 ,  李国庆 ,  沈旭照 ,  曹晗翔 ,  刘雪梅 ,  陈子洋

IPC: G06N3/0464 ,  G06N3/063

Abstract: 本发明公开了一种基于查找表计算的双层同或二值神经网络压缩方法，所述压缩方法由双层卷积结构完成，其算法包括以下步骤：首先，将输入特征图经过非线性激活、批归一化和二值激活后，分组进行不同卷积核尺寸的第一层卷积操作得到第一层输出结果；然后，对第一层输出结果采用1×1大小的第二层卷积操作得到输出特征图。在硬件实现上，对改进的双层卷积使用双层并行计算的三输入同或操作代替了传统双层顺序计算方式，并将所有的双层卷积操作都使用查找表方式完成计算，提高硬件资源利用率。本发明提供压缩方法是一种融合全精度高效神经网络技巧和查找表计算方式的算法硬件协同压缩方案，在结构上有较好的压缩效果，在硬件上也减少了逻辑资源消耗。

公开(公告)号：CN109993279A

公开(公告)日：2019-07-09

申请号：CN201910178528.0

申请日：2019-03-11

Applicant: 东南大学

Inventor： 张萌 ,  李建军 ,  李国庆 ,  沈旭照 ,  曹晗翔 ,  刘雪梅 ,  陈子洋

IPC: G06N3/04 ,  G06N3/063

Abstract: 本发明公开了一种基于查找表计算的双层同或二值神经网络压缩方法，所述压缩方法由双层卷积结构完成，其算法包括以下步骤：首先，将输入特征图经过非线性激活、批归一化和二值激活后，分组进行不同卷积核尺寸的第一层卷积操作得到第一层输出结果；然后，对第一层输出结果采用1×1大小的第二层卷积操作得到输出特征图。在硬件实现上，对改进的双层卷积使用双层并行计算的三输入同或操作代替了传统双层顺序计算方式，并将所有的双层卷积操作都使用查找表方式完成计算，提高硬件资源利用率。本发明提供压缩方法是一种融合全精度高效神经网络技巧和查找表计算方式的算法硬件协同压缩方案，在结构上有较好的压缩效果，在硬件上也减少了逻辑资源消耗。