-
公开(公告)号:CN119149240B
公开(公告)日:2025-04-08
申请号:CN202411594962.4
申请日:2024-11-11
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: G06F9/50
Abstract: 本发明提出面向深度学习的细粒度、干扰感知的GPU调度方法及系统,涉及GPU资源调度技术领域。包括在离线阶段收集工作负载的资源需求信息;生成每个应用程序对应的在GPU上执行的CUDA内核任务;拦截每个应用程序CUDA内核任务的启动请求,并将启动请求对应的CUDA内核任务缓存在每个应用程序对应的任务队列中;对于高优先级应用程序,直接将对应任务队列中的CUDA内核任务提交给GPU调度;对于低优先级应用程序,根据干扰评分以及资源需求判断是否提交CUDA内核任务至GPU进行调度。本发明能够减少任务之间的资源冲突和干扰,实现GPU资源共享,提高GPU资源利用率。
-
公开(公告)号:CN118939736A
公开(公告)日:2024-11-12
申请号:CN202410944068.9
申请日:2024-07-15
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F16/28 , G06F16/215 , G06F16/2453 , G06F16/22 , G06F16/2455
Abstract: 本发明涉及基于查询和元数据异常检测的数据湖仓聚簇方法与系统,属于大数据计算技术领域。包括:数据采集与预处理;EC‑GKDE算法异常判定:对预处理操作后的数据集进行训练,得到所有查询任务的异常分数,进行初次判定;元数据信息异常判定:获取异常查询任务的关联表,获取Hive元数据服务中HDFS实际路径信息,并计算该HDFS实际路径下小文件所占比例,二次判定该异常查询任务的关联表是否为异常表;聚簇优化:提交聚簇任务,将小文件合并为大文件。本发明减少存储资源的开销,大大降低了查询任务需要消耗的时间;本发明可以控制聚簇操作执行的次数,减轻聚簇机制带来的并发更新不支持、增量查询不友好和集群资源浪费的问题。
-
公开(公告)号:CN118488055A
公开(公告)日:2024-08-13
申请号:CN202410630553.9
申请日:2024-05-21
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: H04L67/10 , H04L67/101 , H04L67/1008 , H04L67/60 , H04L67/61
Abstract: 本发明涉及云边环境中QoS感知的微服自适应在线迁移方法及系统,包括:首先,使用最长加权路径算法识别关键路径,基于CCT方法聚合这些关键路径,以得到待迁移候选微服务集;其次,通过基于关键路径变异系数和响应时间增量系数的倾斜决策树,从待迁移候选微服务集中准确地识别待迁移微服务;最后,使用平衡指标对待迁移微服务之间的网络通信开销以及资源竞争进行综合权衡,在线确定将待迁移微服务迁移到哪一个合适的空闲节点,实现云边环境中QoS感知的微服自适应在线迁移。本发明有助于在突发负载情况下满足QoS要求的基础上,提高系统资源的利用效率。
-
公开(公告)号:CN118035722A
公开(公告)日:2024-05-14
申请号:CN202410177495.9
申请日:2024-02-08
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/213 , G06F18/10 , G06N3/0895 , G06F123/02
Abstract: 本发明属于船舷风速预测技术领域,提供了一种基于自监督对比学习的船舷风速校正预测方法及系统,包括:获取海洋观测数据;提取所获取的海洋观测数据的数据特征;对所提取的数据特征进行多粒度对比学习,得到海洋观测数据的不同粒度时间序列数据的特征向量;根据所得到的时间序列数据特征向量,完成船舷风速的校正预测。本发明利用超声波风速数据来校正左右船舷风速,通过构建正负样本对,自动从海洋观测时间序列中提取不同粒度的表征向量,而无需手动调整参数或依赖领域专业知识;具备自动学习数据内在结构和模式的能力,提高对左右船舷风速数据误差的感知,增强校正能力。
-
公开(公告)号:CN117370288A
公开(公告)日:2024-01-09
申请号:CN202311223122.2
申请日:2023-09-21
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F16/174 , G06F16/13 , G06F16/22 , G06F16/23 , G06F16/2455 , G06F9/50
Abstract: 本发明涉及一种基于热点预测的Hudi异步压缩的方法和系统,包括:步骤一:将原始数据入湖和更新操作后的数据入湖;步骤二:数据入湖后,获取数据集;步骤三:基于获取的时间戳和数据操作的次数,采用训练好的LSTM模型预测热点时间段和非热点时间段;步骤四:基于训练好的LSTM模型输出的预测热点时间段和非热点时间段,执行数据异步压缩。本发明兼顾提升查询效率和获得较新的数据。解决了MOR表默认同步压缩会造成计算资源浪费的问题,以实现计算资源负载均衡,提高了资源利用率。
-
公开(公告)号:CN117114932A
公开(公告)日:2023-11-24
申请号:CN202311009670.5
申请日:2023-08-11
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06Q50/20 , G06Q10/0639 , G06V20/40 , G06V20/52
Abstract: 本发明涉及一种基于算力网络的教学行为分析系统及方法,包括:算网云平台层、通信网络层、边缘层以及供用户交互的Web端。算网云平台层用于:数据标注;目标检测模型的训练;存储数据集、镜像、目标检测模型文件以及数据在各个存储节点流转。通信网络层用于:算网云平台层与边缘层进行数据、信息交互;边缘层用于:对实时视频流进行推理;供用户交互的Web端用于:为用户提供上传数据、选择模型训练方式、查看模型训练结果以及教学行为分析报告的服务。本发明对一门课程进行长期评估,在学期末给出一份综合的课程专注度分析报告,对教师调整教学大纲有很大的帮助,同时也让学校对教师的教学评估更加客观。
-
公开(公告)号:CN115033477B
公开(公告)日:2023-06-27
申请号:CN202210644574.7
申请日:2022-06-08
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学
IPC: H04L67/1012 , H04L67/1074 , H04L41/0631 , H04L43/04 , H04L43/062 , H04L43/0852 , G06F17/15
Abstract: 本发明涉及一种面向大规模微服务的性能异常主动检测和处理方法及系统,包括:对微服务的资源使用情况以及运行时信息进行采集,通过采集信息判断微服务应用是否存在性能异常;如果微服务应用存在性能异常,首先,通过采集信息生成微服务历史执行图,然后,基于记忆化搜索对微服务关键路径进行提取,随后,基于部分SLO对关键微服务进行定位,最后,基于离散系数确定关键微服务的关键资源,并增加关键资源的配额,以避免或缓解尾延迟SLO违规。
-
公开(公告)号:CN116069143A
公开(公告)日:2023-05-05
申请号:CN202310354094.1
申请日:2023-04-06
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明属于高性能计算数据中心节能领域,提供了一种基于作业相似性判断功耗预测的节能方法及系统,针对数据中心高昂的运营成本,采用了基于各指标信息和作业日志信息与目标作业计算节点对应的各指标信息和日志信息进行相似度判断,计算出每个作业与目标作业的相似度得分,将大于相似度得分阈值的作业作为功耗预测的训练数据;基于功耗预测的训练数据对功耗预测模型进行训练,采用训练后的功耗预测模型预测目标作业所在节点未来的功耗情况;根据目标作业所在节点的功耗情况,对目标作业所在节点进行升温或降温操作。可以减少HPC集群中热点的出现,同时降低HPC集群中的冷却能耗,实现了HPC集群中节能的目标。
-
公开(公告)号:CN114816699B
公开(公告)日:2025-03-18
申请号:CN202210372549.8
申请日:2022-04-11
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明公开了基于温度预测的数据中心作业调度方法及系统,包括:获取数据中心机柜相关参数、机柜中服务器的相关参数、作业队列中待调度作业所需资源大小和冷却设备的相关参数;对获取的数据进行预处理,对于预处理后的数据进行特征筛选;基于训练后的机器学习模型和筛选得到的特征,预测出未来设定时间段内机柜的温度,选出温度最低的机柜;将待调度作业,在温度最低的机柜的若干个服务器中进行初始调度和优化调度,通过多次迭代,选出服务器与待调度作业之间的最佳映射方案;根据最佳映射方案实现待调度作业的调度。
-
公开(公告)号:CN119249857A
公开(公告)日:2025-01-03
申请号:CN202411160062.9
申请日:2024-08-22
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F30/27 , G06N3/0455 , G06N3/0895
Abstract: 本发明属于海洋科学和数据处理技术领域,提供了一种面向海洋观测数据的基座模型构建方法及系统,包括构建海洋基座模型;将获取的海洋时序数据输入海洋基座模型中,构建海洋时序数据的时间戳粒度级的Token序列,将时间戳前的偏移延迟特征向量和协变量向量连接到时间戳Token向量中;结合因果自注意力机制和旋转位置嵌入,将Token序列的特征映射到Transformer的解码器,生成下一步时间戳序列;定义损失函数,优化模型参数,得到训练好的海洋基座模型。本发明在多种海洋数据集上学习通用的特征表示和时序模式,从而构建一个具有高度泛化能力的海洋通用模型,不仅能够处理大规模、多源的海洋数据,还能够捕捉数据的时序特性,提供实时的数据处理和预测能力。
-
-
-
-
-
-
-
-
-