公开(公告)号：CN114418088A

公开(公告)日：2022-04-29

申请号：CN202111628710.5

申请日：2021-12-28

Applicant: 南京大学

Inventor： 王中风 ,  邵海阔 ,  鲁金铭 ,  魏敬和

IPC: G06N3/08 ,  G06N3/04 ,  G06K9/62 ,  G06F16/332 ,  G06F40/295 ,  G06F16/35

Abstract: 本申请提供一种模型训练方法，包括定义一个新的量化线性层；将量化线性层的多维输入张量中全部元素量化为PINT格式，对量化线性层的待计算张量中全部元素量化为PINT数据格式，将量化后的多维输入张量和待计算张量进行矩阵乘计算得到定点结果；将定点结果反量化为浮点数并传播到后续网络层；将模型中原有的线性层替换为量化线性层，以及基于浮点数和PINT数据格式对模型进行训练。本申请开发了一种基于PINT数据格式的量化线性层，将低比特、高表示能力的PINT数据格式应用到模型训练，用量化线性层替换模型中使用到的线性层，使得在训练出的模型准确度变化很小的情况下有效的降低了数据计算和存储等方面的需求。

公开(公告)号：CN115759193A

公开(公告)日：2023-03-07

申请号：CN202111550985.1

申请日：2021-12-17

Applicant: 南京大学

Inventor： 王中风 ,  石卉虹 ,  毛文东 ,  魏敬和

IPC: G06N3/0464 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/096

Abstract: 本申请提供了一种快速风格迁移卷积神经网络，包括：编码层、下采样层、残差块、上采样层和解码层；所述编码层包括实例归一化层；所述上采样层包括插值层和卷积层；所述卷积层为深度可分离卷积层；所述编码层和所述解码层中使用的卷积核尺寸为7*7或5*5，所述残差块中使用的卷积核尺寸为3*3；所述残差块中的第一个逐点操作层后接非线性激活函数；所述下采样层中采用步长大于1的卷积或者使用池化层。在视觉质量几乎不损失的前提下，该轻量级网络可以实现67倍以上的模型体积压缩和63倍的浮点计算的减少。