-
公开(公告)号：CN119250162A
公开(公告)日：2025-01-03
申请号：CN202411278919.7
申请日：2024-09-12
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N3/098 , G06N3/045 , G06N3/0985 , G06N3/047
Abstract: 本发明提出了云边协同的模型自动化训练与在线学习集成方法及系统，通过云端对海洋模型进行离线训练，然后将预训练好的海洋模型发布到边缘端进行在线学习推理，以解决在线学习算法在初始模型预测阶段会遇到冷启动问题；将广义相加模型作为贝叶斯优化算法的代理模型，并采用同伦优化方法沿变形路径跟踪局部最小值，通过改进的贝叶斯优化算法对海洋模型进行超参数优化，提高超参数优化的效率和效果，提升海洋模型训练效率，缩短整个流程所需时间。
-
公开(公告)号：CN116681960A
公开(公告)日：2023-09-01
申请号：CN202310551874.5
申请日：2023-05-15
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06V10/77 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提出一种基于K8s的中尺度涡旋智能识别方法及系统，涉及涡旋识别领域。包括将待识别图像输入到基于深度学习的中尺度涡旋识别模型中，对待识别图像进行特征提取，基于CBAM混合注意力机制进行加权；将输出特征图输入至ASPP中，设置膨胀卷积的膨胀率，同时将ASPP中池化分支替换为深度可分离卷积，得到编码器输出的特征图；将编码器输出的特征图输入解码器中，基于SKNet注意力机制计算不同尺寸感受野的权重，实现中尺度涡旋的智能识别。本发明能够准确的识别出海表面高度图像中的气旋式涡旋和反气旋式涡旋，而且还通过引入注意力机制技术使模型更加精确的分割出涡旋的边界信息，有效的解决了之前方法中的中尺度涡旋识别效果泛化性差的问题。
-
公开(公告)号：CN118982074B
公开(公告)日：2025-04-11
申请号：CN202411463393.X
申请日：2024-10-21
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提出一种基于高效微调和联邦学习的行业大模型训练方法及系统，涉及联邦学习领域。该方法由中心端执行，包括：获取原始全局模型，初始化可调低秩矩阵；所述可调低秩矩阵用于根据客户端资源量进行秩缩放；将模型结构和可调低秩矩阵发送给各客户端，以使各客户端基于本地数据对可调低秩矩阵进行微调训练，得到更新的可调低秩矩阵，并发送至中心端；将更新的可调低秩矩阵进行聚合，更新原始全局模型的权重文件，得到优化的全局模型。本发明客户端在微调训练时对预训练权重进行量化，并对具有秩缩放功能的可调低秩矩阵进行微调训练，以提取客户端本地数据有效特征，实现了模型参数的灵活调整与资源的高效利用。
-
公开(公告)号：CN116681960B
公开(公告)日：2024-11-15
申请号：CN202310551874.5
申请日：2023-05-15
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06V10/77 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提出一种基于K8s的中尺度涡旋智能识别方法及系统，涉及涡旋识别领域。包括将待识别图像输入到基于深度学习的中尺度涡旋识别模型中，对待识别图像进行特征提取，基于CBAM混合注意力机制进行加权；将输出特征图输入至ASPP中，设置膨胀卷积的膨胀率，同时将ASPP中池化分支替换为深度可分离卷积，得到编码器输出的特征图；将编码器输出的特征图输入解码器中，基于SKNet注意力机制计算不同尺寸感受野的权重，实现中尺度涡旋的智能识别。本发明能够准确的识别出海表面高度图像中的气旋式涡旋和反气旋式涡旋，而且还通过引入注意力机制技术使模型更加精确的分割出涡旋的边界信息，有效的解决了之前方法中的中尺度涡旋识别效果泛化性差的问题。
-
公开(公告)号：CN118211268A
公开(公告)日：2024-06-18
申请号：CN202410428512.1
申请日：2024-04-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F21/62 , G06V10/30 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/098
Abstract: 本公开提供了基于扩散模型的异构联邦学习隐私保护方法及系统，涉及联邦学习隐私保护技术领域，包括建立服务器端与客户端的通信通道；获取客户端类别分布不均匀的数据上传至服务端，将所述类别分布不均匀的数据作为去噪扩散模型的输入，在服务器端生成符合数据分布的图像；利用生成的图像数据进行异构联邦学习的训练，服务器端初始化全局模型参数，并分发给随机选择的客户端，利用知识蒸馏方法，将全局模型看作教师网络，把上一轮的本地模型看作学生网络，进行本地模型的训练和参数上传，服务端利用各个客户端的上传的本地模型参数进行全局模型聚合，完成知识迁移。
-
Patent Agency Ranking
公开(公告)号：CN117151173A
公开(公告)日：2023-12-01
申请号：CN202311119652.2
申请日：2023-08-31
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: G06N3/0495 , G06N3/082 , G06N3/084 , G06N3/045 , G06N3/096 , G06N3/0985 , G06F18/214 , G06F18/21 , G06F40/289 , G06F16/35
Abstract: 本发明公开了一种基于元学习的模型压缩方法，包括：获取情感分类数据集并进行数据预处理；将预处理后的数据样本输入至模型压缩模块中，对预训练语言模型压缩，在推理阶段实现情感分类结果的输出，所述模型压缩模块包含微调、剪枝、元学习蒸馏等操作。所述微调阶段，基于数据集训练预训练语言模型得到第一教师模型；剪枝阶段，利用缩放系数剪枝第一教师模型，得到第一学生模型；基于数据集和蒸馏训练方法训练得到第二学生模型，并将第二模型部署于终端，实现情感分类预测。本发明采用模型压缩方法应用于大模型情感分类预测，保证情感分类结果精度的情况下，降低了模型参数量，更利于部署应用。
-
公开(公告)号：CN117910329A
公开(公告)日：2024-04-19
申请号：CN202410309464.4
申请日：2024-03-19
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F30/25 , G06F30/27 , G06N3/006 , G06N3/0442
Abstract: 本发明涉及计算机技术领域，提供了一种基于改进粒子群优化算法的海洋时序数据预测方法及系统。该方法包括，获取海洋传感器样本数据，采用改进的粒子群优化算法对预测模型的超参数进行优化，得到最优超参数，以此得到已训练的预测模型；获取待预测的海洋传感器数据，采用已训练的预测模型，得到预测结果；其中，所述改进的粒子群优化算法包括：采用非线性动态权重替换固定惯性权重，并在非线性动态权重中引入自适应权重因子。本发明通过将固定权重改为非线性动态权重，早期设置较大的权重，促进全局搜索，后期利用较小的权重提升局部搜索能力。这种动态调整有助于在全局探索和局部精细调整之间找到更好的平衡。
-
公开(公告)号：CN117350171B
公开(公告)日：2024-03-12
申请号：CN202311638586.X
申请日：2023-12-04
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F30/27 , G06N3/0464 , G06N3/0455 , G06F119/08
Abstract: 本发明提出了基于双流模型的中尺度涡三维次表层结构反演方法及系统，涉及深度学习与海洋反演交叉领域，通过卫星采集待反演的中尺度涡海表面信息；将中尺度涡海表面信息输入到训练好的双流模型中，反演出中尺度涡不同深度下的温度结果，得到中尺度涡次表层温度剖图；其中，所述双流模型引入Triplet attention注意力机制，采用三分支结构融合通道注意力和空间注意力进行跨维度交互；本发明采用双流模型实现中尺度涡次表层结构反演，发掘海表面参数间的数据关联，分别建立不同参数与次表层温度的关系模型，融合多源信息特征关系，实现特征融合，有效融合了多源数据，提升了反演效果。
-
公开(公告)号：CN117633527A
公开(公告)日：2024-03-01
申请号：CN202311549421.5
申请日：2023-11-17
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/214 , G06N3/126
Abstract: 本发明提出了一种面向异构环境的大模型混合并行训练方法及系统，基于异构环境中不同数据中心的算力情况，以及不同数据中心之间的网络延迟情况，以待训练模型的每个训练阶段中数据中心的算力均衡性和每个训练阶段中数据中心所包含节点的计算任务传输的对等性为目标，利用遗传算法进行迭代优化，得到每个训练阶段所对应的数据中心，以及每个训练阶段内不同节点的计算任务，对待训练模型进行训练，从而将资源平衡和跨域带来的计算成本降低，提升大模型训练效率。
-
公开(公告)号：CN117195001A
公开(公告)日：2023-12-08
申请号：CN202311206504.4
申请日：2023-09-18
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/22 , G06F18/25 , G06F18/2413 , G06F18/241 , G06F18/21
Abstract: 本发明涉及高性能计算领域，提供了一种基于功耗曲线和脚本信息的HPC作业功耗预测方法及系统。该方法包括基于历史作业功耗曲线数据，得到第一相似度值；基于历史作业脚本信息数据，得到第二相似度值；依据需求，为第一相似度值和第二相似度值分配权重，计算加权求和，得到综合相似度值，以此构建相似度邻接矩阵；以最大化模块度指标为原则，按照相似度邻接矩阵，将HPC作业划分成不同的类别；基于划分后不同类别中历史数据，分别训练不同的神经网络模型，得到已训练的神经网络模型；匹配与目标HPC作业相似的历史作业类别，采用该历史作业类别的神经网络模型对目标HPC作业的脚本信息数据进行预测，得到预测结果。
-
-
-
-
-
-
-
-
-
Search Results
24
records
(took 0.043 seconds)
