公开(公告)号：CN117689044A

公开(公告)日：2024-03-12

申请号：CN202410142459.9

申请日：2024-02-01

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  胡佳伟 ,  钟云山 ,  林明宝 ,  陈锰钊

IPC: G06N20/20 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提供一种适用于视觉自注意力模型(ViTs)的量化方法，涉及人工神经网络的压缩与加速，本申请提出了一种移位均匀log2量化器，在log2函数输入上引入初始的移位偏置，然后对输出进行均匀量化；还提出了一种三阶段的平滑优化策略，充分利用平滑而低振幅的损失图进行优化，同时保持对激活逐层量化的高效性。本发明方法既思想简单，同时节省计算开销，且大大提高在极低压缩比特下的性能表现，只需要应用本发明设计的量化器，可直接以后训练的方式得到量化模型，同时获得更好性能。

公开(公告)号：CN116452463A

公开(公告)日：2023-07-18

申请号：CN202310669860.3

申请日：2023-06-07

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  钟云山 ,  林明宝

IPC: G06T5/00 ,  G06T7/13 ,  G06T7/90 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

Abstract: 一种从未配对的真实数据中学习图像去摩尔纹模型方法，涉及去摩尔纹的人工神经网络的训练。与大量依赖从成对的真实数据中学习的现有研究不同，该方法从未配对的数据集中合成伪摩尔纹图像，生成与无摩尔纹图像配对的图像对来训练去摩尔纹模型。包含以下三个步骤：首先，将真实的摩尔纹图像划分为若干图像块，并根据摩尔纹的复杂性对这些图像块进行分组；然后，引入一个新的摩尔纹生成框架，以合成类似于真实摩尔纹的具有不同摩尔纹特征的摩尔纹图像，以及类似于真实无摩尔纹图像的细节；之后，引入一种自适应去噪方法，以去除对去摩尔纹模型的学习有不利影响的低质量的伪摩尔纹图像。

公开(公告)号：CN115688888A

公开(公告)日：2023-02-03

申请号：CN202211302111.9

申请日：2022-10-24

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  张玉鑫 ,  林明宝

IPC: G06N3/0495 ,  G06N3/084 ,  G06N3/0464

Abstract: 一种有效学习N:M稀疏的最佳组合方法，涉及人工神经网络的压缩与加速。以一种有效的分而治之的方式解决N:M稀疏性问题。首先，将权重向量划分为固定大小N的个组合子集。然后，通过为每个组合分配一个可学习的分数来克服组合问题，该分数与其相关权重联合优化。证明引入的评分机制可以很好地模拟组合子集之间的相对重要性。通过逐步删除低得分子集，可以在正常训练阶段有效地优化N:M细粒度稀疏性。具有端到端的实现、高效的培训、优化的可处理性的特点，以两步方式进行网络稀疏性，包括掩码学习和权重调整，在联合框架中优化权重矩阵，从而在正常训练阶段获得优化的N:M稀疏性。进一步提高训练效率和准确率。

公开(公告)号：CN114937186A

公开(公告)日：2022-08-23

申请号：CN202210673423.4

申请日：2022-06-14

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  钟云山 ,  林明宝 ,  南宫瑞

IPC: G06V10/774 ,  G06N3/08 ,  G06N3/04

Abstract: 基于异质生成数据的神经网络无数据量化方法，涉及人工神经网络的压缩与加速。包括以下步骤：1)使用标准高斯分布随机初始化假图片。2)优化初始化假图片直到迭代次数到达限制，使用局部物体加强，边界距离限制，软感知损失，BN损失对假图片进行更新；3)先量化神经网络，再利用优化好的假图片，使用蒸馏损失、交叉熵损失训练量化网络，直至到达预定的训练轮数；4)训练结束保留量化网络权重，即得量化后的量化网络。不需要真实数据，可直接从头训练得到量化网络，可在无需特定硬件支持的情况下，在通用硬件平台上实现网络压缩与加速。