-
公开(公告)号：CN118378672B
公开(公告)日：2024-11-08
申请号：CN202410793310.7
申请日：2024-06-19
Applicant: 厦门大学
IPC: G06N3/0495 , G06N3/0464 , G06N3/09 , G06V10/764 , G06V10/26 , G06V10/82
Abstract: 本发明提供一种快速量化视觉自注意力模型的方法，涉及人工神经网络的压缩与加速。本发明提出激活值量化误差减少策略，将激活值的量化误差减少问题建模为岭回归，通过解析解得到权重的调整值；同时，本发明提出模型权重量化误差减少策略，通过重置舍入方式得到权重的量化参数、通过岭回归建模的方式得到剩余权重的调整值。本方法充分利用权重和激活值二者的关系，可以快速确定与激活值、权重适配的量化参数，得到量化模型，极大提升量化模型的性能表现。
-
公开(公告)号：CN117689044B
公开(公告)日：2024-10-08
申请号：CN202410142459.9
申请日：2024-02-01
Applicant: 厦门大学
Abstract: 本发明提供一种适用于视觉自注意力模型(ViTs)的量化方法，涉及人工神经网络的压缩与加速，本申请提出了一种移位均匀log2量化器，在log2函数输入上引入初始的移位偏置，然后对输出进行均匀量化；还提出了一种三阶段的平滑优化策略，充分利用平滑而低振幅的损失图进行优化，同时保持对激活逐层量化的高效性。本发明方法既思想简单，同时节省计算开销，且大大提高在极低压缩比特下的性能表现，只需要应用本发明设计的量化器，可直接以后训练的方式得到量化模型，同时获得更好性能。
-
公开(公告)号：CN117689044A
公开(公告)日：2024-03-12
申请号：CN202410142459.9
申请日：2024-02-01
Applicant: 厦门大学
Abstract: 本发明提供一种适用于视觉自注意力模型(ViTs)的量化方法，涉及人工神经网络的压缩与加速，本申请提出了一种移位均匀log2量化器，在log2函数输入上引入初始的移位偏置，然后对输出进行均匀量化；还提出了一种三阶段的平滑优化策略，充分利用平滑而低振幅的损失图进行优化，同时保持对激活逐层量化的高效性。本发明方法既思想简单，同时节省计算开销，且大大提高在极低压缩比特下的性能表现，只需要应用本发明设计的量化器，可直接以后训练的方式得到量化模型，同时获得更好性能。
-
公开(公告)号：CN118378672A
公开(公告)日：2024-07-23
申请号：CN202410793310.7
申请日：2024-06-19
Applicant: 厦门大学
IPC: G06N3/0495 , G06N3/0464 , G06N3/09 , G06V10/764 , G06V10/26 , G06V10/82
Abstract: 本发明提供一种快速量化视觉自注意力模型的方法，涉及人工神经网络的压缩与加速。本发明提出激活值量化误差减少策略，将激活值的量化误差减少问题建模为岭回归，通过解析解得到权重的调整值；同时，本发明提出模型权重量化误差减少策略，通过重置舍入方式得到权重的量化参数、通过岭回归建模的方式得到剩余权重的调整值。本方法充分利用权重和激活值二者的关系，可以快速确定与激活值、权重适配的量化参数，得到量化模型，极大提升量化模型的性能表现。
-
-
-
Search Results
4
records
(took 0.026 seconds)
