-
公开(公告)号：CN113837376B
公开(公告)日：2023-09-15
申请号：CN202111005875.7
申请日：2021-08-30
Applicant: 厦门大学
IPC: G06N3/082 , G06N3/0495 , G06N3/0464 , G06N3/0455 , G06N3/047 , G06N3/084
Abstract: 基于动态编码卷积核融合的神经网络剪枝方法，涉及人工神经网络的压缩与加速。1)计算当前训练轮数的温度系数；2)根据原始层的卷积核权重与当前训练轮数的温度系数，计算原始层每个卷积核的概率向量；3)根据原始层每个卷积核的概率向量，计算融合层卷积核的权重；4)前向传播过程只使用融合层，反向传播的梯度由当前融合层同时回传到当前原始层与上一个融合层；5)循环执行1)～4)，直至达到预定的训练轮数；6)训练结束保留所有融合层的权重，即得剪枝后的紧凑卷积神经网络。无需依赖预训练模型与稀疏约束，可直接从头训练得到，卷积核个数更少，可在无需特定硬件支持的情况下，在通用硬件平台上实现网络压缩与加速。
-
公开(公告)号：CN116340769A
公开(公告)日：2023-06-27
申请号：CN202310198651.5
申请日：2023-03-03
Applicant: 厦门大学
IPC: G06F18/214 , G06N3/08 , G06N3/0464
Abstract: 用于高效N:M稀疏训练的双向掩码，涉及人工神经网络的压缩与加速。1)在权重的行维度根据权重大小计算前向掩码；2)利用前向掩码计算稀疏前向传播过程中权重的最优行排列，对前向稀疏权重按行重排列；3)对重排列后的稀疏权重在列维度根据稀疏权重大小计算反向掩码，保持行置换和不行置换之间相同的输出，缩小单向和双向掩码之间的梯度差距；4)利用随机梯度下降方法对深度神经网络有效优化卷积层及其N:M稀疏性。在前向和反向传播的两个方向上分离稀疏掩码以获得训练加速度，实现前向和反向权重的稀疏性，克服密集的梯度计算的问题。实现保持性能的有效权重行重排列方法，很好地最小化传统单向掩码和本发明的双向掩码之间的梯度差距。
-
公开(公告)号：CN115049055A
公开(公告)日：2022-09-13
申请号：CN202210761410.2
申请日：2022-06-29
Applicant: 厦门大学
Abstract: 基于动态双可训练界限的超分神经网络的量化方法，涉及人工神经网络的压缩与加速。1)统计超分神经网络每一层激活值的最大值分布和最小值分布；2)选择最大值分布方差和最小值分布方差之和最大的P％层，对其激活值应用具有可训练上界和下界的、具有动态门控制器的量化器，其他层的激活值应用有可训练上界和下界的量化器；3)对网络权重应用非对称的上界和下界的量化器；4)使用量化器量化神经网络，初始化动态门控制器的权重，使用L1损失、结构转移损失训练量化网络，直至达到预定的训练轮数；5)训练结束保留量化网络权重，即得量化后的量化网络。
-
公开(公告)号：CN113837376A
公开(公告)日：2021-12-24
申请号：CN202111005875.7
申请日：2021-08-30
Applicant: 厦门大学
Abstract: 基于动态编码卷积核融合的神经网络剪枝方法，涉及人工神经网络的压缩与加速。1)计算当前训练轮数的温度系数；2)根据原始层的卷积核权重与当前训练轮数的温度系数，计算原始层每个卷积核的概率向量；3)根据原始层每个卷积核的概率向量，计算融合层卷积核的权重；4)前向传播过程只使用融合层，反向传播的梯度由当前融合层同时回传到当前原始层与上一个融合层；5)循环执行1)～4)，直至达到预定的训练轮数；6)训练结束保留所有融合层的权重，即得剪枝后的紧凑卷积神经网络。无需依赖预训练模型与稀疏约束，可直接从头训练得到，卷积核个数更少，可在无需特定硬件支持的情况下，在通用硬件平台上实现网络压缩与加速。
-
公开(公告)号：CN119990363A
公开(公告)日：2025-05-13
申请号：CN202510003045.2
申请日：2025-01-02
Applicant: 厦门大学
IPC: G06N20/00 , G06N5/04 , G06F40/205 , G06N3/0499 , G06F40/284
Abstract: 本发明提供一种用于长文本大语言模型的层次辅助稀疏注意方法，所述方法包括：步骤S1、在每一层大语言模型层中增加一个参数共享的偏移分支得到新的大语言模型；步骤S2、将上下文切分成多个片段输入到大语言模型层内得到局部特征输出，同时对每个片段进行池化，输入到同层的偏移分支中得到低分辨率表示；步骤S3、将上一层的偏移分支输出的低分辨率表示拼接到当前层的大语言模型层的局部特征，输出给下一层大语言模型层；步骤S4、对新的大语言模型进行微调，并在其最后一个大语言模型层后接入一个语言建模头，用以输出下游任务的处理结果。采用本发明方法可有效提高推理效率的同时确保模型性能不被降低，降低生成首个词元时可能面临显著的延迟。
-
Patent Agency Ranking
公开(公告)号：CN119831873A
公开(公告)日：2025-04-15
申请号：CN202411825463.1
申请日：2024-12-12
Applicant: 厦门大学
IPC: G06T5/60 , G06T5/77 , G06N3/0475 , G06N3/084 , G06N3/045 , G06N3/0464
Abstract: 本发明公开一种基于动态轨迹扩散模型的一体化图像恢复方法，包括：1、在训练阶段，对于时间步t，一步扩散过程表示为#imgabs0##imgabs1#2、采用L1范数对时间步t的扩散图像It和预测图像#imgabs2#进行约束；3、反向传播训练神经网络；4、在推理阶段，根据输入图片信息自适应地分配对应的扩散残差调制器#imgabs3#和扩散分布调制器#imgabs4#并通过扩散模型推理输出图片，对应的反向推理过程表示为#imgabs5#本发明通过动态调整扩散轨迹，根据不同的图像退化类型自适应地选择最优恢复路径，从而提升图像恢复的整体性能，有效的减少了计算开销并提高了处理不同退化类型的灵活性。
-
公开(公告)号：CN119180764A
公开(公告)日：2024-12-24
申请号：CN202411224381.1
申请日：2024-09-03
Applicant: 厦门大学
Abstract: 本发明提供一种免数据标注和网络训练的场景文本消除方法，所述方法包括：在预训练扩散去噪模型反演过程中进行层次化文本定位，通过从原图中获取第一文本区域的掩膜，对第一文本区域对应的原图进行裁剪与放大得到复数个子图，再从子图中获取得到第二文本区域的掩膜，对子图进行2‑均值聚类得到子图子区域并计算出第三文本区域的掩膜；在对反演得到的潜空间噪声进行重建之前，预先将其文本区域用随机高斯噪声进行破坏得到处理后的潜空间图；将处理后的潜空间图输入到预训练扩散去噪模型中对背景区域进行自动恢复得到文本消除后的图像。本发明方法可在无训练和数据集标注的前提下完成文本定位、文本破坏、背景恢复等流程，提高了图像处理效率。
-
公开(公告)号：CN119089967A
公开(公告)日：2024-12-06
申请号：CN202411002426.0
申请日：2024-07-25
Applicant: 厦门大学
IPC: G06N3/084 , G06N3/0495
Abstract: 本发明公开一种用于量化的多模态大模型的指令微调方法，包括：步骤1、量化感知的尺度学习；步骤2、用于尺度学习的多模态热身策略；步骤3、使用量化后的多模态大模型进行特定任务学习。本发明采用量化感知的尺度学习，能够自适应地最小化异常位置的量化误差，尤其在某些位置激活表现为异常值特征的情况下能够有效地减少了每个量化组内的量化误差，从而解决现有技术对于离群点造成的量化误差无法有效处理的问题；本发明通过均匀量化的方法，采用权重裁剪来缓解语言任务中发生的量化困难；本发明在迭代达到一定次数后，将多模态指令数据集替换为混合数据集，有助于在保持多模态任务性能的同时，逐步引入语言数据，避免过度拟合。
-
公开(公告)号：CN118967880A
公开(公告)日：2024-11-15
申请号：CN202410995249.4
申请日：2024-07-24
Applicant: 厦门大学
Abstract: 一种增强的对象操纵和背景一致的图像编辑方法，采用扩散模型对原始图像进行图像编辑，主要步骤：在预设数量的时间步内对原始潜在代码逐步进行反演更新，并且在特定时间步将编辑对象从源区域转移到目标区域，并对编辑对象转移后的源区域背景进行修复，同时保持编辑对象转移后的未编辑区域背景完整，以在反演阶段的特定时间步中采用最终损失函数对特定潜在代码进行迭代更新，最终得到更新后潜在代码；将更新后潜在代码和编辑对象动作的指示文本输入UNet去噪器中进行采样去噪得到编辑图像。借此，可在反演阶段于目标区域中注入编辑对象并保持背景完整性，同时可在采样阶段确保被编辑对象产生指定的动作，保证编辑前后图像内容的一致性。
-
公开(公告)号：CN118886425A
公开(公告)日：2024-11-01
申请号：CN202410834156.3
申请日：2024-06-26
Applicant: 厦门大学
IPC: G06F40/289 , G06F40/284 , G06N3/084 , G06N3/044
Abstract: 本发明公开一种用于长文本大语言模型的无偏增量式优化方法、电子设备和存储介质，实现对循环神经网络与自注意机制结合的方法进行优化，降低其训练开销，使得可以使用有限的计算资源来适配十万词元级别的文本的训练。本发明在现有的大语言模型的基础上，采用Lora方法进行微调，并添加一个对于输入文本的切片机制：对于每个所得的文本片段，在其后面添加少数可训练的记忆词元，通过训练这些记忆词元以及对模型本身的微调，让每个文本片段的内容迁移到对应的记忆词元中，最后将所有片段产生的记忆词元汇总到一起，作为上下文提供给大语言模型解码使用。
-
-
-
-
-
-
-
-
-
Search Results
34
records
(took 0.017 seconds)
