-
公开(公告)号：CN118779117B
公开(公告)日：2025-02-11
申请号：CN202411258880.2
申请日：2024-09-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , G06F9/38 , G06F18/214 , G06N3/126
Abstract: 本发明属于大模型训练技术领域，具体涉及一种基于双重优化的大模型广域异构分布式训练方法与系统；基于双重优化的大模型广域异构分布式训练方法包括：获取基座模型的配置信息，进行异构数据中心的拆分，将异构数据中心转换成最多能完成一个stage任务的数据中心；采用蚁群算法对拆分后数据中心进行初始化组合的优化，得到基座模型初步并行组方案；基于遗传算法的优化得到基座模型并行组方案，生成模型训练架构，以完成基于双重优化的大模型广域异构分布式训练。针对真实异构环境下的基座模型训练所面临的架构设计、通信成本计算和难以找到最佳并行组策略的难题，减少了模型训练时间的同时，有效降低了大模型训练的成本和门槛。
-
公开(公告)号：CN119249857A
公开(公告)日：2025-01-03
申请号：CN202411160062.9
申请日：2024-08-22
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F30/27 , G06N3/0455 , G06N3/0895
Abstract: 本发明属于海洋科学和数据处理技术领域，提供了一种面向海洋观测数据的基座模型构建方法及系统，包括构建海洋基座模型；将获取的海洋时序数据输入海洋基座模型中，构建海洋时序数据的时间戳粒度级的Token序列，将时间戳前的偏移延迟特征向量和协变量向量连接到时间戳Token向量中；结合因果自注意力机制和旋转位置嵌入，将Token序列的特征映射到Transformer的解码器，生成下一步时间戳序列；定义损失函数，优化模型参数，得到训练好的海洋基座模型。本发明在多种海洋数据集上学习通用的特征表示和时序模式，从而构建一个具有高度泛化能力的海洋通用模型，不仅能够处理大规模、多源的海洋数据，还能够捕捉数据的时序特性，提供实时的数据处理和预测能力。
-
公开(公告)号：CN118540324A
公开(公告)日：2024-08-23
申请号：CN202410603350.0
申请日：2024-05-15
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: H04L67/10 , G06Q10/0639 , G06Q50/26 , G06F9/54 , H04L67/1004 , H04L67/00 , H04L67/30
Abstract: 本公开提供了基于云边协同的延迟最小化海洋数据质控方法及系统，涉及海洋数据质量控制技术领域，包括：边缘端获取海洋观测数据；生成数据质控任务，通过海洋数据质控模型对海洋观测数据进行质量控制；选择在与云端之间的网络通道传输压力小时，将质控后的结果数据以及数据质控卸载任务上传至云端；云端接收质控后的结果数据以及数据质控卸载任务；定期优化海洋数据质控模型并对整个系统中的海洋数据质控模型进行更新部署，实时对边缘端的负载情况进行监控，根据负载情况的动态变化，利用动态任务卸载策略，将数据质控任务在边缘端和边缘端之间、边缘端和云端之间进行卸载，以实现系统总体延迟的最小化。
-
公开(公告)号：CN118395204A
公开(公告)日：2024-07-26
申请号：CN202410597097.2
申请日：2024-05-14
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/22 , G06N3/0464 , G06F18/214 , G06F18/20
Abstract: 本发明公开了基于时间卷积网络的海洋数据在线预测与检测方法及系统，其中方法包括：构建自适应时间卷积网络；构建训练集，所述训练集为海洋监测历史时序数据；所述自适应时间卷积网络，是对原始时间卷积网络，加入多头自注意力机制，并在残差单元中引入自适应层；将训练集输入到自适应时间卷积网络中对其进行训练，得到训练后的自适应时间卷积网络；训练过程中，将前K‑1个时刻的海洋监测数据作为网络的输入值，将第K时刻的海洋监测数据作为网络的输出值；获取待预测的海洋时序数据，将待预测的海洋时序数据输入到训练后的自适应时间卷积网络中，输出预测的海洋数据；将预测的海洋数据与设定阈值进行比较，确定预测的海洋数据是否发生异常。
-
公开(公告)号：CN118297849A
公开(公告)日：2024-07-05
申请号：CN202410343675.X
申请日：2024-03-25
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明公开的一种多特征融合的水下图像增强方法及系统，包括：获取无标签水下图像；通过无标签水下图像对水下图像增强模型进行训练，训练过程中，水下图像增强模型从无标签水下图像中提取亮度特征、语义特征、梯度特征、全局特征和局部特征，将亮度特征、语义特征、梯度特征、全局特征和局部特征合并，获得水下图像增强结果，训练完成，获得训练好的水下图像增强模型；利用训练好的水下图像增强模型对待增强的水下图像进行增强。实现了对水下图像的有效增强。
-
Patent Agency Ranking
公开(公告)号：CN118070888A
公开(公告)日：2024-05-24
申请号：CN202410236056.0
申请日：2024-03-01
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N5/022 , G06F18/214
Abstract: 本发明提出了基于自适应动态温度的元学习知识蒸馏方法及系统，在元学习阶段，首先复制第一学生模型，将复制得到的第二学生模型与第一教师模型进行蒸馏，根据第二学生模型的反馈动态更新第一教师模型，提高第一教师模型的“教学能力”，最终得到更新后的第一教师模型；在蒸馏阶段，使用已更新的第一教师模型与第一学生模型进行知识蒸馏操作；与此同时，为了提高蒸馏效果，动态调整蒸馏温度，这一过程有效地提升了蒸馏操作的性能。
-
公开(公告)号：CN118037599A
公开(公告)日：2024-05-14
申请号：CN202410343235.4
申请日：2024-03-25
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明公开的一种真实水下图像复原方法及系统，包括：获取场景透射图、空气环境中场景图像及水下环境图像；根据场景透射图和空气环境中场景图像，获得场景的雾霾特征和光衰减特征；通过训练后水下图像生成模型对场景的光衰减特征、雾霾特征和水下环境图像进行处理，获得水下场景图像；利用水下场景图像对水下图像复原模型进行训练，训练完成，获得训练好的水下图像复原模型；通过训练好的水下图像复原模型对真实水下图像进行处理，获得修复后水下图像。实现了对水下图像的有效复原。
-
公开(公告)号：CN115879569B
公开(公告)日：2023-05-23
申请号：CN202310214205.9
申请日：2023-03-08
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: G06N20/00 , G06F18/25 , G16Y40/10 , G06N3/0455 , G06N3/084
Abstract: 本发明提出了一种IoT观测数据的在线学习方法及系统，涉及数据处理技术领域，根据获取的初始时序观测数据，初始化在线深度学习模型；实时获取传感器生成的时序观测数据，根据时序观测数据形成输入数据流；在线深度学习模型处理输入数据流，生成最终预测结果；在处理输入数据流的过程中，对输入数据流进行即时学习，实时动态更新在线深度学习模型；即时学习，是基于数据流的均值和方差，学习数据分布，构造准正态分布，重构新的样本，实现变分注意力网络，基于分布差异、重构差异和推理差异，进行模型的动态调整；本发明学习不同隐藏层之间的隐藏信息，提高模型推理的准确性，同时通过在线学习，对不同隐藏层间的参数进行动态调整。
-
公开(公告)号：CN111000553A
公开(公告)日：2020-04-14
申请号：CN201911395467.X
申请日：2019-12-30
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: A61B5/0402
Abstract: 本发明的基于投票集成学习的心电数据智能分类方法，其特征在于，通过以下步骤来实现：a).数据预处理；b).建立logistic回归模型；c).建立决策树模型；d).建立一个支持向量机；e).建立朴素贝叶斯模型；f).建立神经元模型；g).建立k邻近模型；h).模型集成，最终获得一个正确率不低于80%的模型，效果优于步骤b)至步骤g)中建立的单个模型。本发明的心电数据智能分类方法，首先从ccdd中获取足够数量的数据，将其分为训练集和测试集，然后建立各类模型，最后，获得一个正确率不低于80%的模型，可实现对“正常、房颤、房性早搏、偶发房性早搏、频发房性早搏、房性心动过速、房颤伴快速心室率”进行智能识别分类，实现心血管疾病的早发现、早治疗。
-
公开(公告)号：CN118982074B
公开(公告)日：2025-04-11
申请号：CN202411463393.X
申请日：2024-10-21
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提出一种基于高效微调和联邦学习的行业大模型训练方法及系统，涉及联邦学习领域。该方法由中心端执行，包括：获取原始全局模型，初始化可调低秩矩阵；所述可调低秩矩阵用于根据客户端资源量进行秩缩放；将模型结构和可调低秩矩阵发送给各客户端，以使各客户端基于本地数据对可调低秩矩阵进行微调训练，得到更新的可调低秩矩阵，并发送至中心端；将更新的可调低秩矩阵进行聚合，更新原始全局模型的权重文件，得到优化的全局模型。本发明客户端在微调训练时对预训练权重进行量化，并对具有秩缩放功能的可调低秩矩阵进行微调训练，以提取客户端本地数据有效特征，实现了模型参数的灵活调整与资源的高效利用。
-
-
-
-
-
-
-
-
-
Search Results
46
records
(took 0.083 seconds)
