-
公开(公告)号：CN119670845A
公开(公告)日：2025-03-21
申请号：CN202411727330.0
申请日：2024-11-28
Applicant: 安徽大学
IPC: G06N3/096 , G06N3/0464 , G06F17/16
Abstract: 本发明公开了一种结合高效参数迁移学习的模型量化方法，包括：基于预训练的ViT模型构建M1模型，并在M1模型的注意力层中添加低秩自适应矩阵，得到添加LoRA模块后的M2模型；将M2模型中的若干子模块转化为量化模块，得到量化后的M3模型；设置权重量化比特数和激活量化比特数，对结合预设迁移学习方式的模型M3进行校准，得到校准后各模型；利用预设训练集按照训练逻辑分别对校准后各模型进行训练；利用预设验证集对训练后的QATL‑M3模型、PTLQ‑M3模型以及GQTL‑M3模型进行评估，得到评估结果。本发明涉及深度学习领域，解决了现有模型量化方法在低比特量化情况下，模型计算成本高，容易出现过拟合的技术问题。
Search Results
1
records
(took 0.026 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
