-
公开(公告)号：CN118364885A
公开(公告)日：2024-07-19
申请号：CN202410315432.5
申请日：2024-03-19
Applicant: 清华大学
Abstract: 本发明提供一种基于八位整数的神经网络加速训练方法，包括：获取八位整数数据流，通过预设的神经网络基于所述八位整数数据流建立八位整数矩阵；对所述八位整数矩阵进行量化块划分，生成多个量化块；基于所述量化块通过全面量化训练对神经网络的线性层和非线性层进行逐块量化计算，生成计算结果，完成神经网络加速训练。本发明解决了现有网络模型训练成本高、周期长的问题。
-
公开(公告)号：CN118211658A
公开(公告)日：2024-06-18
申请号：CN202410262345.8
申请日：2024-03-07
Applicant: 清华大学
Abstract: 本发明涉及机器学习领域，公开了一种基于稀疏矩阵加速扩散模型的方法、装置及设备，该方法包括：获取数据集输入至训练好的扩散模型中，基于动态多尺度稀疏推理策略进行数据生成，得到生成的数据；所述训练好的扩散模型基于渐进式稀疏训练策略进行训练得到。本发明解决了如何在保持样本质量的同时，提高扩散模型的推理效率的问题。
-
公开(公告)号：CN115174926A
公开(公告)日：2022-10-11
申请号：CN202210764873.4
申请日：2022-06-29
Applicant: 清华大学
IPC: H04N19/42 , G06N3/04 , G06N3/08 , H04N19/184 , H04N19/91
Abstract: 本文公开一种基于全整数流模型的图像压缩方法，包括：利用训练图片数据集训练全整数流模型；通过训练好的全整数流模型对输入的目标图片的数据进行计算得到所述目标图片的表征向量和所述表征向量的概率分布；根据所述目标图片的表征向量及其概率分布进行熵编码得到压缩编码比特串；其中，所述全整数流模型包括多个串联的整数流层，任意一个整数流层将所述整数流层的输入向量和输出向量建模为整数向量。本文的图像压缩方法能够提高图片无损压缩的速度。
-
公开(公告)号：CN118349846A
公开(公告)日：2024-07-16
申请号：CN202410332855.8
申请日：2024-03-22
Applicant: 清华大学
IPC: G06F18/214 , G06F17/16 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本发明提供一种利用2:4稀疏矩阵乘法预训练Transformer架构大模型的方法，包括：根据Transformer架构大模型中稀疏网络的翻转率，确定目标衰减系数；基于目标衰减系数，在反向传播梯度上添加带有可转置掩码的权重衰减；在训练token数未达到设定切换点的情况下，采用2:4稀疏矩阵乘法训练优化Transformer架构大模型；在训练token数达到设定切换点的情况下，采用稠密微调的方式训练优化Transformer架构大模型。该方法通过自定义的翻转率确定目标衰减系数，并基于目标衰减系数在反向传播梯度(而不是权重)上添加带有可转置掩码的权重衰减，还在预训练即将结束时(而不是在开始时)采用稠密微调的方式进行优化，能够有效提升Transformer架构大模型的训练精度。
-
公开(公告)号：CN116434031A
公开(公告)日：2023-07-14
申请号：CN202310258990.8
申请日：2023-03-16
Applicant: 清华大学
IPC: G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种图像生成方法、装置、电子设备及存储介质，通过获取训练样本图像；将训练样本图像输入对抗式网络模型以生成近似图像，其中所述对抗式网络模型基于布朗运动控制的损失函数进行训练得到，由于布朗运动控制系统具有稳定性，而对抗式网络模型基于布朗运动控制的损失函数进行训练得到，因此，可以提高模型的训练收敛速度，并且提升模型输入结果的稳定性，从而保证生成近似图像的质量。
-
Patent Agency Ranking
公开(公告)号：CN105868186A
公开(公告)日：2016-08-17
申请号：CN201610382578.7
申请日：2016-06-01
Applicant: 清华大学
IPC: G06F17/27
CPC classification number: G06F17/2745 , G06F17/2785 , G06F2216/03
Abstract: 本发明公开一种简单高效的话题提取方法，能够提高话题提取的速度。所述方法包括：S1、在单词/文档阶段，每个计算节点处理话题矩阵的某些小块的列/行，顺序扫描分配给该计算节点的列/行，对每列/行，执行接受步骤和提议步骤；S2、判断迭代次数是否达到预定常数，如果是，则停止迭代，如果否，则迭代次数加1，重复执行S1、S2。
-
公开(公告)号：CN119865533A
公开(公告)日：2025-04-22
申请号：CN202411742243.2
申请日：2024-11-29
Applicant: 清华大学
Abstract: 本发明涉及机器学习领域，提供一种用于模型并行训练的通信压缩方法、装置及电子设备，该用于模型并行训练的通信压缩方法包括：在前向传播阶段，基于分配到的张量执行模型层的计算，得到至少一组通道的激活值；针对至少一组通道的激活值中的各组激活值，执行TopK操作，保留各组激活值中第一数量的激活值得到各组的第一激活值；针对各组激活值中未被保留的激活值执行针对激活值的组量化处理得到各组的第二激活值；基于第一激活值以及第二激活值进行激活值的通信。该方法通过TOPK量化与朴素的组量化的结合，实现了快速准确的激活值压缩，提高了并行训练的效率。
-
公开(公告)号：CN119227766A
公开(公告)日：2024-12-31
申请号：CN202411114179.3
申请日：2024-08-14
Applicant: 清华大学
IPC: G06N3/082 , G06N3/084 , G06N3/0495 , G06N3/045 , G06F18/2136 , G06F18/214
Abstract: 本发明提供一种利用连续剪枝函数进行2:4稀疏预训练的方法和装置，涉及深度学习技术领域，所述方法包括：获取目标模型的原始权重；其中，所述目标模型为带有线性层的深度神经网络或大模型；基于所述原始权重，在所述目标模型正向传播前执行固定比例的剪枝操作，得到稀疏权重；将预先获取的训练数据输入至所述目标模型中，按照所述稀疏权重和所述目标模型的层次结构进行逐层计算，得到输出结果；其中，所述训练数据包括文本数据、图像数据或视频数据。通过本发明提供的方法，在模型进行正向传播前进行剪枝操作，得到稀疏权重，使用稀疏权重完成正向传播，在优化模型的同时保持较高的精度。
-
公开(公告)号：CN116894778A
公开(公告)日：2023-10-17
申请号：CN202310838378.8
申请日：2023-07-10
Applicant: 清华大学
Abstract: 本发明提供一种用于图像生成的扩散模型采样方法和装置，包括：对预训练的噪声预测模型进行参数化，得到最优参数化表示；其中，最优参数化表示通过引入线性系数、尺寸系数和偏置系数使最优参数化表示下的扩散常微分方程在求解时具有最小的一阶离散化误差；基于最优参数化表示构建扩散模型采样器；利用扩散模型采样器，对满足第一高斯分布的目标噪声图像进行图像恢复；其中，所述第一高斯分布为前向扩散过程所生成的纯噪声图像所呈现出的分布。本发明通过分析扩散常微分方程求解时离散化误差，设定采样时更优的噪声预测模型参数化方式，并基于此构建更高效的扩散模型采样器，以此在保证扩散模型采样质量的前提下提高散模型采样效率。
-
公开(公告)号：CN116502699A
公开(公告)日：2023-07-28
申请号：CN202310363996.1
申请日：2023-04-06
Applicant: 清华大学
Abstract: 本发明提供一种基于对比学习通过能量函数引导从扩散模型采样的方法，包括：获取预训练的扩散模型和能量函数；通过对比学习算法预测不同状态下中间采样时刻的能量函数；设置当前时间步数T，通过所述预训练的扩散模型与预测的能量函数计算采样梯度函数；将所述梯度函数写入预设的扩散模型采样求解器，生成时间步数为T‑1的数据点位置；循环求取数据点位置直至当前时间步数为0，得到的数据点位置为最终所需采样数据点。本发明解决现有扩散模型采样不精准导致数据样本误差大的问题。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.015 seconds)
