公开(公告)号：CN111428189B

公开(公告)日：2023-09-22

申请号：CN202010249282.4

申请日：2020-04-01

Applicant: 南京大学

Inventor： 王中风 ,  毛文东 ,  林军

IPC: G06F17/15 ,  G06F17/16

Abstract: 本申请实施例公开了一种用于反卷积运算的数据预处理方法及装置，通过根据反卷积核的尺寸以及所述反卷积核的步长，设定多个抽取起始点，并根据所述多个抽取起始点，分别按照预设的抽取间隔，对所述反卷积核进行元素抽取，获取多个子卷积核，其中，不同的抽取起始点对应获取不同的子卷积核，每一个所述子卷积核包括抽取所得的多个元素。上述方法中，硬件加速器在针对子卷积核与输入矩阵执行相乘累加操作时，不会存在大量的无效操作，提高了硬件加速器的计算效率，也无需额外的寄存器存储无效操作得到的中间结果，节省了硬件加速器的存储资源。

公开(公告)号：CN115759193A

公开(公告)日：2023-03-07

申请号：CN202111550985.1

申请日：2021-12-17

Applicant: 南京大学

Inventor： 王中风 ,  石卉虹 ,  毛文东 ,  魏敬和

IPC: G06N3/0464 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/096

Abstract: 本申请提供了一种快速风格迁移卷积神经网络，包括：编码层、下采样层、残差块、上采样层和解码层；所述编码层包括实例归一化层；所述上采样层包括插值层和卷积层；所述卷积层为深度可分离卷积层；所述编码层和所述解码层中使用的卷积核尺寸为7*7或5*5，所述残差块中使用的卷积核尺寸为3*3；所述残差块中的第一个逐点操作层后接非线性激活函数；所述下采样层中采用步长大于1的卷积或者使用池化层。在视觉质量几乎不损失的前提下，该轻量级网络可以实现67倍以上的模型体积压缩和63倍的浮点计算的减少。

公开(公告)号：CN114943783A

公开(公告)日：2022-08-26

申请号：CN202210651537.9

申请日：2022-06-09

Applicant: 南京大学

Inventor： 王中风 ,  毛文东 ,  石卉虹 ,  林军

IPC: G06T11/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请提供一种面向复杂纹理结构的艺术字生成系统，包括输入处理模块处理输入的源文字生成黑白文本掩膜，利用黑白文本掩膜处理输入的风格图片生成风格小块；生成对抗网络模型的第一生成器处理黑白文本掩膜和风格小块，生成扩充预设倍数的真实边缘的风格大块；生成对抗网络模型的第二生成器处理风格大块进行，生成风格大块的黑白风格掩膜；细节细化模块包括结构细化网络和纹理细化网络，结构细化网络结构细化处理风格大块，生成中间艺术字；纹理细化网络根据黑白风格掩膜纹理细化处理中间艺术字，生成最终艺术字。如此，通过生成艺术字雏形，再对艺术字雏形进行结构和细节细化，实现了基于复杂纹理结构生成复杂风格效果的艺术字。

公开(公告)号：CN113516235A

公开(公告)日：2021-10-19

申请号：CN202110788017.8

申请日：2021-07-13

Applicant: 南京大学

Inventor： 王中风 ,  于悦 ,  罗嘉鹏 ,  毛文东

IPC: G06N3/063 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请涉及卷积神经网络技术领域，提供一种可变形卷积加速器和可变形卷积加速方法。本申请基于FPGA的硬件架构设计,通过取值阶段的映射操作，为卷积计算提供规则化的存取，并设计寄存器阵列来匹配两个阶段的处理速率，并优化存储空间，再根据规则化的输入值，执行卷积操作，得到输出结果。本申请对原始的可变形卷积层进行加速，未对算法进行任何调整，未对偏移量进行大小限制，最大限度地保留原始模型的精度；对于不规则的感受野，采用映射模块将其规则化，并通过寄存器模块的乒乓操作方式将映射模块和卷积模块的运算速率进行匹配，提高了硬件利用率；本申请无需将中间数据存储到片外，降低了对于片外存储结构的访问频率。

公开(公告)号：CN114742215A

公开(公告)日：2022-07-12

申请号：CN202210393362.6

申请日：2022-04-14

Applicant: 南京大学

Inventor： 王中风 ,  毛文东 ,  苏子琦 ,  林军

IPC: G06N3/063 ,  G06N3/04 ,  G06T1/40 ,  G06F17/16 ,  G06F7/544

Abstract: 本申请提供一种三维反卷积加速方法及三维反卷积硬件加速架构。所述方法包括：利用候选反卷积核的尺寸、预设的变换强度和反卷积步长预先确定候选输入块的尺寸、待运算数据块的尺寸以及输出数据块的尺寸后，分别利用对应的二维预设前处理矩阵和前处理转置矩阵对候选输入块和候选反卷积核进行变换，并将各自得到的前处理数据块进行逐元素相乘，得到待运算数据块，再利用二维预设后处理矩阵和后处理转置矩阵对待运算数据块进行变换，最终得到候选输入块所对应的输出数据块。整个方法利用反卷积计算前后数据之间的关联性，将常规三维反卷积的乘法累加操作转化为前后处理和逐元素乘法，可以减少乘法次数，降低计算复杂度，从而极大地提高了计算效率。

公开(公告)号：CN113918876A

公开(公告)日：2022-01-11

申请号：CN202010802119.6

申请日：2020-08-11

Applicant: 南京大学

Inventor： 王中风 ,  杨培祥 ,  毛文东 ,  林军

IPC: G06F17/15 ,  G06F17/16 ,  G06N3/04

Abstract: 本申请公开了反卷积计算的方法、硬件加速器、设备及可读存储介质，该方法包括获取多个输入块，根据第一前置矩阵，对反卷积核中的数据进行变换，获取反卷积核矩阵，根据第二前置矩阵，分别对多个输入块中的数据进行变换，获取多个输入矩阵，然后分别将反卷积核矩阵与多个输入矩阵进行相乘，获取多个中间矩阵，将任一中间矩阵中所有层数据矩阵的数据按通道进行累加，获取多个累加矩阵。根据后置矩阵，分别对多个累加矩阵中的数据进行变换，获取多个输出块。将多个输出块依次排列成输出特征图，获取反卷积计算结果。上述计算过程中，未在原输入特征图中插入大量的零，有效提高了计算效率。