-
公开(公告)号：CN117521761A
公开(公告)日：2024-02-06
申请号：CN202311471735.8
申请日：2023-11-07
Applicant: 厦门大学
IPC: G06N3/082 , G06N3/0495 , G06N3/045 , G06N3/0499 , G06V10/82 , G06V10/764
Abstract: 一种统一的标记压缩方法，涉及人工神经网络的压缩与加速。包括以下步骤：1)定义标记压缩方式，同时包含标记剪枝与标记合并；2)使用随机搜索搜索各种计算复杂度约束下的最优标记压缩率；3)模型推理时选出标记压缩率，根据标记压缩率压缩对应数量的标记。同时考虑标记剪枝和标记合并，将标记压缩视为优化问题，搜索最优标记压缩率。可以实现不微调压缩后的模型仍然保持高性能。可应用于在图像分类领域上的ViT模型，提供的统一标记压缩方法提供更好的识别能力，使得压缩后模型无需微调即可保持良好性能。实验表明，通过本发明可以显著降低模型复杂度，且性能降低可忽略。实现根据给定模型与给定计算量约束自适应决定最优标记压缩率。
-
公开(公告)号：CN117689044B
公开(公告)日：2024-10-08
申请号：CN202410142459.9
申请日：2024-02-01
Applicant: 厦门大学
Abstract: 本发明提供一种适用于视觉自注意力模型(ViTs)的量化方法，涉及人工神经网络的压缩与加速，本申请提出了一种移位均匀log2量化器，在log2函数输入上引入初始的移位偏置，然后对输出进行均匀量化；还提出了一种三阶段的平滑优化策略，充分利用平滑而低振幅的损失图进行优化，同时保持对激活逐层量化的高效性。本发明方法既思想简单，同时节省计算开销，且大大提高在极低压缩比特下的性能表现，只需要应用本发明设计的量化器，可直接以后训练的方式得到量化模型，同时获得更好性能。
-
公开(公告)号：CN115983322A
公开(公告)日：2023-04-18
申请号：CN202310039838.0
申请日：2023-01-12
Applicant: 厦门大学
Abstract: 基于多粒度推理的视觉自注意力模型的压缩方法，涉及人工神经网络的压缩与加速。包括：1)提出一个两阶段推理框架，在第一阶段对整张图片进行粗粒度patch切割，第二阶段对图片中信息含量高的区域进行进一步的细粒度切割；2)设计基于全局类注意力图的重要区域识别；3)设计特征复用模块，使得第二阶段可以复用第一阶段提取的特征；4)设计两阶段推理框架的训练范式，使得模型可以不引入额外参数。可以实现根据样本难度自适应调整模型复杂度。
-
公开(公告)号：CN117689044A
公开(公告)日：2024-03-12
申请号：CN202410142459.9
申请日：2024-02-01
Applicant: 厦门大学
Abstract: 本发明提供一种适用于视觉自注意力模型(ViTs)的量化方法，涉及人工神经网络的压缩与加速，本申请提出了一种移位均匀log2量化器，在log2函数输入上引入初始的移位偏置，然后对输出进行均匀量化；还提出了一种三阶段的平滑优化策略，充分利用平滑而低振幅的损失图进行优化，同时保持对激活逐层量化的高效性。本发明方法既思想简单，同时节省计算开销，且大大提高在极低压缩比特下的性能表现，只需要应用本发明设计的量化器，可直接以后训练的方式得到量化模型，同时获得更好性能。
-
-
-
Search Results
4
records
(took 0.043 seconds)
