-
公开(公告)号：CN115049055B
公开(公告)日：2024-06-04
申请号：CN202210761410.2
申请日：2022-06-29
Applicant: 厦门大学
IPC: G06N3/08 , G06N3/0464
Abstract: 基于动态双可训练界限的超分神经网络的量化方法，涉及人工神经网络的压缩与加速。1)统计超分神经网络每一层激活值的最大值分布和最小值分布；2)选择最大值分布方差和最小值分布方差之和最大的P％层，对其激活值应用具有可训练上界和下界的、具有动态门控制器的量化器，其他层的激活值应用有可训练上界和下界的量化器；3)对网络权重应用非对称的上界和下界的量化器；4)使用量化器量化神经网络，初始化动态门控制器的权重，使用L1损失、结构转移损失训练量化网络，直至达到预定的训练轮数；5)训练结束保留量化网络权重，即得量化后的量化网络。
-
公开(公告)号：CN117114062A
公开(公告)日：2023-11-24
申请号：CN202311121661.5
申请日：2023-09-01
Applicant: 厦门大学
IPC: G06N3/0495 , G06N3/08
Abstract: 一种用于任意位宽网络量化的新型多分支拓扑方法，涉及量化的人工神经网络的训练。现有的任意位宽量化方法由于权重和激活频繁的位宽切换而造成量化误差的显著积累，导致性能有限。为了解决这个问题，将网络主体复制成多个独立的分支，并将每个分支的权重量化为固定的2比特，而输入激活保持预定位宽。这样在保持计算成本不变的同时，避免权重位宽的切换，从而大大减少权重的量化误差。还引入一个摊销分支选择策略，将激活位宽切换引起的量化误差在各分支之间进行分配，以提高性能。最后，设计一种原地蒸馏策略，便于在各分支之间进行指导，以进一步提高性能。
-
公开(公告)号：CN118378672B
公开(公告)日：2024-11-08
申请号：CN202410793310.7
申请日：2024-06-19
Applicant: 厦门大学
IPC: G06N3/0495 , G06N3/0464 , G06N3/09 , G06V10/764 , G06V10/26 , G06V10/82
Abstract: 本发明提供一种快速量化视觉自注意力模型的方法，涉及人工神经网络的压缩与加速。本发明提出激活值量化误差减少策略，将激活值的量化误差减少问题建模为岭回归，通过解析解得到权重的调整值；同时，本发明提出模型权重量化误差减少策略，通过重置舍入方式得到权重的量化参数、通过岭回归建模的方式得到剩余权重的调整值。本方法充分利用权重和激活值二者的关系，可以快速确定与激活值、权重适配的量化参数，得到量化模型，极大提升量化模型的性能表现。
-
公开(公告)号：CN117689044B
公开(公告)日：2024-10-08
申请号：CN202410142459.9
申请日：2024-02-01
Applicant: 厦门大学
Abstract: 本发明提供一种适用于视觉自注意力模型(ViTs)的量化方法，涉及人工神经网络的压缩与加速，本申请提出了一种移位均匀log2量化器，在log2函数输入上引入初始的移位偏置，然后对输出进行均匀量化；还提出了一种三阶段的平滑优化策略，充分利用平滑而低振幅的损失图进行优化，同时保持对激活逐层量化的高效性。本发明方法既思想简单，同时节省计算开销，且大大提高在极低压缩比特下的性能表现，只需要应用本发明设计的量化器，可直接以后训练的方式得到量化模型，同时获得更好性能。
-
公开(公告)号：CN114937186B
公开(公告)日：2024-06-07
申请号：CN202210673423.4
申请日：2022-06-14
Applicant: 厦门大学
IPC: G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/0495 , G06N3/084
Abstract: 基于异质生成数据的神经网络无数据量化方法，涉及人工神经网络的压缩与加速。包括以下步骤：1)使用标准高斯分布随机初始化假图片。2)优化初始化假图片直到迭代次数到达限制，使用局部物体加强，边界距离限制，软感知损失，BN损失对假图片进行更新；3)先量化神经网络，再利用优化好的假图片，使用蒸馏损失、交叉熵损失训练量化网络，直至到达预定的训练轮数；4)训练结束保留量化网络权重，即得量化后的量化网络。不需要真实数据，可直接从头训练得到量化网络，可在无需特定硬件支持的情况下，在通用硬件平台上实现网络压缩与加速。
-
Patent Agency Ranking
公开(公告)号：CN115049055A
公开(公告)日：2022-09-13
申请号：CN202210761410.2
申请日：2022-06-29
Applicant: 厦门大学
Abstract: 基于动态双可训练界限的超分神经网络的量化方法，涉及人工神经网络的压缩与加速。1)统计超分神经网络每一层激活值的最大值分布和最小值分布；2)选择最大值分布方差和最小值分布方差之和最大的P％层，对其激活值应用具有可训练上界和下界的、具有动态门控制器的量化器，其他层的激活值应用有可训练上界和下界的量化器；3)对网络权重应用非对称的上界和下界的量化器；4)使用量化器量化神经网络，初始化动态门控制器的权重，使用L1损失、结构转移损失训练量化网络，直至达到预定的训练轮数；5)训练结束保留量化网络权重，即得量化后的量化网络。
-
公开(公告)号：CN114429209A
公开(公告)日：2022-05-03
申请号：CN202210101357.3
申请日：2022-01-27
Applicant: 厦门大学
Abstract: 基于细粒度数据分布对齐的神经网络后训练量化方法，涉及人工神经网络压缩与加速。1)计算校准数据集中每张图在预训练的全精度网络每一层的BN参数，得每个类别的代表BN参数；2)量化预训练的全精度网络得量化网络；3)生成器接受高斯噪声和随机选择的标签生成指定类别的图片，使用交叉熵损失、BN损失、代表BN损、扰动代表BN损失训练训练生成器；4)利用生成器生成的图片和校准数据集图片，使用蒸馏损失、交叉熵损失训练量化网络；5)循环2)～4)至达到预定的训练轮数；6)保留量化网络权重，即得量化后的量化网络。只需少量数据的校准数据集，可从头训练得量化网络，无需特定硬件支持，在通用硬件平台上实现网络压缩与加速。
-
公开(公告)号：CN117689044A
公开(公告)日：2024-03-12
申请号：CN202410142459.9
申请日：2024-02-01
Applicant: 厦门大学
Abstract: 本发明提供一种适用于视觉自注意力模型(ViTs)的量化方法，涉及人工神经网络的压缩与加速，本申请提出了一种移位均匀log2量化器，在log2函数输入上引入初始的移位偏置，然后对输出进行均匀量化；还提出了一种三阶段的平滑优化策略，充分利用平滑而低振幅的损失图进行优化，同时保持对激活逐层量化的高效性。本发明方法既思想简单，同时节省计算开销，且大大提高在极低压缩比特下的性能表现，只需要应用本发明设计的量化器，可直接以后训练的方式得到量化模型，同时获得更好性能。
-
公开(公告)号：CN116452463A
公开(公告)日：2023-07-18
申请号：CN202310669860.3
申请日：2023-06-07
Applicant: 厦门大学
IPC: G06T5/00 , G06T7/13 , G06T7/90 , G06N3/045 , G06N3/0464 , G06N3/0475 , G06N3/094
Abstract: 一种从未配对的真实数据中学习图像去摩尔纹模型方法，涉及去摩尔纹的人工神经网络的训练。与大量依赖从成对的真实数据中学习的现有研究不同，该方法从未配对的数据集中合成伪摩尔纹图像，生成与无摩尔纹图像配对的图像对来训练去摩尔纹模型。包含以下三个步骤：首先，将真实的摩尔纹图像划分为若干图像块，并根据摩尔纹的复杂性对这些图像块进行分组；然后，引入一个新的摩尔纹生成框架，以合成类似于真实摩尔纹的具有不同摩尔纹特征的摩尔纹图像，以及类似于真实无摩尔纹图像的细节；之后，引入一种自适应去噪方法，以去除对去摩尔纹模型的学习有不利影响的低质量的伪摩尔纹图像。
-
公开(公告)号：CN114937186A
公开(公告)日：2022-08-23
申请号：CN202210673423.4
申请日：2022-06-14
Applicant: 厦门大学
IPC: G06V10/774 , G06N3/08 , G06N3/04
Abstract: 基于异质生成数据的神经网络无数据量化方法，涉及人工神经网络的压缩与加速。包括以下步骤：1)使用标准高斯分布随机初始化假图片。2)优化初始化假图片直到迭代次数到达限制，使用局部物体加强，边界距离限制，软感知损失，BN损失对假图片进行更新；3)先量化神经网络，再利用优化好的假图片，使用蒸馏损失、交叉熵损失训练量化网络，直至到达预定的训练轮数；4)训练结束保留量化网络权重，即得量化后的量化网络。不需要真实数据，可直接从头训练得到量化网络，可在无需特定硬件支持的情况下，在通用硬件平台上实现网络压缩与加速。
-
-
-
-
-
-
-
-
-
Search Results
13
records
(took 0.014 seconds)
