-
公开(公告)号：CN119557113A
公开(公告)日：2025-03-04
申请号：CN202510131779.9
申请日：2025-02-06
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明提供了一种用于异构设备的深度学习大模型训练方法及系统，其属于模型训练技术领域，为了解决传统方案在深度学习大模型的训练时，无法对异构GPU集群进行有效利用的问题，所述方案基于提出的虚拟设备概念，通过将待训练的深度学习大模型的不同网络层划分为若干阶段，每个阶段所有网络层的前向传播和反向传播计算均由独立的虚拟设备执行，同时，结合提出的混合并行训练策略来协调不同构的GPU资源的利用，实现高效的模型训练。
-
公开(公告)号：CN118982074B
公开(公告)日：2025-04-11
申请号：CN202411463393.X
申请日：2024-10-21
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提出一种基于高效微调和联邦学习的行业大模型训练方法及系统，涉及联邦学习领域。该方法由中心端执行，包括：获取原始全局模型，初始化可调低秩矩阵；所述可调低秩矩阵用于根据客户端资源量进行秩缩放；将模型结构和可调低秩矩阵发送给各客户端，以使各客户端基于本地数据对可调低秩矩阵进行微调训练，得到更新的可调低秩矩阵，并发送至中心端；将更新的可调低秩矩阵进行聚合，更新原始全局模型的权重文件，得到优化的全局模型。本发明客户端在微调训练时对预训练权重进行量化，并对具有秩缩放功能的可调低秩矩阵进行微调训练，以提取客户端本地数据有效特征，实现了模型参数的灵活调整与资源的高效利用。
-
公开(公告)号：CN118779117A
公开(公告)日：2024-10-15
申请号：CN202411258880.2
申请日：2024-09-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , G06F9/38 , G06F18/214 , G06N3/126
Abstract: 本发明属于大模型训练技术领域，具体涉及一种基于双重优化的大模型广域异构分布式训练方法与系统；基于双重优化的大模型广域异构分布式训练方法包括：获取基座模型的配置信息，进行异构数据中心的拆分，将异构数据中心转换成最多能完成一个stage任务的数据中心；采用蚁群算法对拆分后数据中心进行初始化组合的优化，得到基座模型初步并行组方案；基于遗传算法的优化得到基座模型并行组方案，生成模型训练架构，以完成基于双重优化的大模型广域异构分布式训练。针对真实异构环境下的基座模型训练所面临的架构设计、通信成本计算和难以找到最佳并行组策略的难题，减少了模型训练时间的同时，有效降低了大模型训练的成本和门槛。
-
Patent Agency Ranking
公开(公告)号：CN119474555A
公开(公告)日：2025-02-18
申请号：CN202411478177.2
申请日：2024-10-22
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F16/9536 , G06F16/215 , G06F16/955 , G06F18/241 , G06F18/22 , G06N5/022
Abstract: 本发明提出了一种基于网页数据集构建语料库的方法及系统，通过质量过滤、去重、仇恨言论检测和困惑度计算系列操作，可以基于海量网页数据集构建大规模、高质量的语料库；质量过滤和数据去重步骤，大幅降低了语料库中的重复和低质量内容，提高了模型的泛化能力和输出的可靠性；此外，仇恨言论检测和困惑度计算进一步确保了语料库的高标准和多层次质量，减少了潜在的负面影响，使得模型在处理各种自然语言任务时更为精准和高效。
-
公开(公告)号：CN118982074A
公开(公告)日：2024-11-19
申请号：CN202411463393.X
申请日：2024-10-21
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提出一种基于高效微调和联邦学习的行业大模型训练方法及系统，涉及联邦学习领域。该方法由中心端执行，包括：获取原始全局模型，初始化可调低秩矩阵；所述可调低秩矩阵用于根据客户端资源量进行秩缩放；将模型结构和可调低秩矩阵发送给各客户端，以使各客户端基于本地数据对可调低秩矩阵进行微调训练，得到更新的可调低秩矩阵，并发送至中心端；将更新的可调低秩矩阵进行聚合，更新原始全局模型的权重文件，得到优化的全局模型。本发明客户端在微调训练时对预训练权重进行量化，并对具有秩缩放功能的可调低秩矩阵进行微调训练，以提取客户端本地数据有效特征，实现了模型参数的灵活调整与资源的高效利用。
-
公开(公告)号：CN118674011A
公开(公告)日：2024-09-20
申请号：CN202410820143.0
申请日：2024-06-24
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N3/096 , G06N3/0455 , G06F16/35 , G06N5/04
Abstract: 本发明属于深度学习大模型技术领域，具体涉及一种面向深度学习大模型的参数微调迁移学习方法及系统，包括：获取待优化设备数据；提取所获取的待优化设备数据的不同维度的特征提取算子；采用参数微调的低秩优化算法聚合所提取的不同维度的特征提取算子，对所获取的设备数据进行迁移学习，得到知识向量；其中，通过参数微调的低秩优化算法添加高效参数，调整参数以获得全量微调性能，增强多维特征聚合，以多维知识提取和聚合为中心提升处理下游任务；根据所得到的知识向量，完成设备的优化。
-
公开(公告)号：CN118779117B
公开(公告)日：2025-02-11
申请号：CN202411258880.2
申请日：2024-09-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , G06F9/38 , G06F18/214 , G06N3/126
Abstract: 本发明属于大模型训练技术领域，具体涉及一种基于双重优化的大模型广域异构分布式训练方法与系统；基于双重优化的大模型广域异构分布式训练方法包括：获取基座模型的配置信息，进行异构数据中心的拆分，将异构数据中心转换成最多能完成一个stage任务的数据中心；采用蚁群算法对拆分后数据中心进行初始化组合的优化，得到基座模型初步并行组方案；基于遗传算法的优化得到基座模型并行组方案，生成模型训练架构，以完成基于双重优化的大模型广域异构分布式训练。针对真实异构环境下的基座模型训练所面临的架构设计、通信成本计算和难以找到最佳并行组策略的难题，减少了模型训练时间的同时，有效降低了大模型训练的成本和门槛。
-
公开(公告)号：CN118245457A
公开(公告)日：2024-06-25
申请号：CN202410441447.6
申请日：2024-04-12
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F16/174 , G06F40/194 , G06F40/205 , G06F16/182 , G06N5/04 , G06F16/958
Abstract: 本公开提供了基于句群的海量网页并行去重处理方法及系统，涉及网页去重技术领域，获取输入原始文件中的所有网页数据，并提取高评分网页数据；将每个高评分网页数据保存为Json对象，对Json对象的正文内容进行句子组合，对每个句子组合创建HashSig对象，将所有HashSig对象构成签名文件；针对所有签名文件，采用先局部后整体的方式进行重复性检查，将重复的Json对象索引和句子索引保存到重复文件中；利用生成的重复文件查找重复的句子，删除重复项；其中，对原始文件、签名文件以及重复文件的处理为多个处理节点上对同一块磁盘进行并发访问，实现数据的并行处理。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.045 seconds)
