公开(公告)号：CN113379034A

公开(公告)日：2021-09-10

申请号：CN202110661438.4

申请日：2021-06-15

Applicant: 南京大学

Inventor： 王中风 ,  赵世泽 ,  何鎏璐 ,  谢逍如 ,  林军

IPC: G06N3/04 ,  G06N3/063 ,  G06N3/08

Abstract: 本申请公开了一种基于网络结构搜索技术的神经网络结构优化方法，包括以下步骤：获取训练样本，将所述训练样本输入初始神经网络，通过搜索算法根据所述训练样本，在所述初始神经网络上依次生成具有不同搜索状态的分支神经网络结构，得到若干个待优化神经网络结构，所述搜索状态包括插入分支的节点位置和对应节点位置的插入深度，对待优化神经网络结构进行优化，得到最优神经网络结构。通过搜索算法自动在初始神经网络结构上构建分支神经网络结构，对其进行优化后，得到最优神经网络分支结构，解决了现有神经网络构建过程中，通过动态计算的模型压缩算法对模型进行压缩，耗费大量人力物力，同时还存在神经网络陷入局部最优，严重影响效率的问题。

公开(公告)号：CN117010460A

公开(公告)日：2023-11-07

申请号：CN202310972001.1

申请日：2023-08-03

Applicant: 南京大学

Inventor： 王中风 ,  董琦玮 ,  谢逍如

IPC: G06N3/048 ,  G06N3/063

Abstract: 本发明提供了一种Swin‑Transformer推理硬件加速器，包括外部存储、静态随机存取存储器SRAM和寄存器Reg构成的三层存储层次结构、两个量化单元、一个外积矩阵乘法阵列和三个非线性计算单元；本发明借助Swin Transformer独有的计算特性设计了应用在端侧的专用硬件加速架构，并在FPGA平台上进行了验证，该加速器的能效比NVIDIA RTX 2080Ti GPU提高了15.14倍，比现有的Transformer加速器提高了2.02到3.11倍。

公开(公告)号：CN113379034B

公开(公告)日：2023-10-20

申请号：CN202110661438.4

申请日：2021-06-15

Applicant: 南京大学

Inventor： 王中风 ,  赵世泽 ,  何鎏璐 ,  谢逍如 ,  林军

IPC: G06N3/0464 ,  G06N3/063 ,  G06N3/082

Abstract: 本申请公开了一种基于网络结构搜索技术的神经网络结构优化方法，包括以下步骤：获取训练样本，将所述训练样本输入初始神经网络，通过搜索算法根据所述训练样本，在所述初始神经网络上依次生成具有不同搜索状态的分支神经网络结构，得到若干个待优化神经网络结构，所述搜索状态包括插入分支的节点位置和对应节点位置的插入深度，对待优化神经网络结构进行优化，得到最优神经网络结构。通过搜索算法自动在初始神经网络结构上构建分支神经网络结构，对其进行优化后，得到最优神经网络分支结构，解决了现有神经网络构建过程中，通过动态计算的模型压缩算法对模型进行压缩，耗费大量人力物力，同时还存在神经网络陷入局部最优，严重影响效率的问题。