公开(公告)号：CN113516235B

公开(公告)日：2024-10-18

申请号：CN202110788017.8

申请日：2021-07-13

Applicant: 南京大学

Inventor： 王中风 ,  于悦 ,  罗嘉鹏 ,  毛文东

IPC: G06N3/063 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请涉及卷积神经网络技术领域，提供一种可变形卷积加速器和可变形卷积加速方法。本申请基于FPGA的硬件架构设计,通过取值阶段的映射操作，为卷积计算提供规则化的存取，并设计寄存器阵列来匹配两个阶段的处理速率，并优化存储空间，再根据规则化的输入值，执行卷积操作，得到输出结果。本申请对原始的可变形卷积层进行加速，未对算法进行任何调整，未对偏移量进行大小限制，最大限度地保留原始模型的精度；对于不规则的感受野，采用映射模块将其规则化，并通过寄存器模块的乒乓操作方式将映射模块和卷积模块的运算速率进行匹配，提高了硬件利用率；本申请无需将中间数据存储到片外，降低了对于片外存储结构的访问频率。

公开(公告)号：CN113516235A

公开(公告)日：2021-10-19

申请号：CN202110788017.8

申请日：2021-07-13

Applicant: 南京大学

Inventor： 王中风 ,  于悦 ,  罗嘉鹏 ,  毛文东

IPC: G06N3/063 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请涉及卷积神经网络技术领域，提供一种可变形卷积加速器和可变形卷积加速方法。本申请基于FPGA的硬件架构设计,通过取值阶段的映射操作，为卷积计算提供规则化的存取，并设计寄存器阵列来匹配两个阶段的处理速率，并优化存储空间，再根据规则化的输入值，执行卷积操作，得到输出结果。本申请对原始的可变形卷积层进行加速，未对算法进行任何调整，未对偏移量进行大小限制，最大限度地保留原始模型的精度；对于不规则的感受野，采用映射模块将其规则化，并通过寄存器模块的乒乓操作方式将映射模块和卷积模块的运算速率进行匹配，提高了硬件利用率；本申请无需将中间数据存储到片外，降低了对于片外存储结构的访问频率。

公开(公告)号：CN116012657A

公开(公告)日：2023-04-25

申请号：CN202310112245.2

申请日：2023-02-14

Applicant: 南京大学

Inventor： 王中风 ,  于悦 ,  毛文东 ,  罗嘉鹏

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/77 ,  G06V10/80 ,  G06N3/063 ,  G06N3/047 ,  G06N3/048 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种基于神经网络的3D点云数据处理方法及加速器，所述方法包括：向神经网络中输入3D点云数据，输出点云所代表的目标类别；所述神经网络包括特征提取模块LCEM，LBR块，最大池化层，降采样层和全连接层；特征提取模块LCEM对离采样点距离最近的部分点在数据中对应的特征通过卷积层进行融合；LBR块用于特征提取；最大池化层和降采样层输出单一值来降低神经网络的输入尺寸；全连接层用于输出目标对应各个类别的概率，并按照概率最高的类别进行输出。本发明用于处理3D点云分类问题，通过可学习的权重来对邻域特征进行聚合，与Pointnet相比，在将网络参数压缩30倍以上的条件下，仍能保持相同的精度。