公开(公告)号：CN119782090A

公开(公告)日：2025-04-08

申请号：CN202411973779.5

申请日：2024-12-30

Applicant: 哈尔滨工业大学 ,  中国移动通信集团黑龙江有限公司

Inventor： 巢泽敏 ,  陈潇 ,  杜长斌 ,  孙长秋 ,  毕研恒 ,  李菲 ,  王宏志 ,  高肇明 ,  郑乔译 ,  李欣宇 ,  齐志鑫 ,  谭世喆 ,  王宇 ,  朱艳秋 ,  柴云峰 ,  葛广志 ,  岑建何

IPC: G06F11/30 ,  G06F9/50 ,  G06N3/048 ,  G06N3/084 ,  G06N3/092 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/044

Abstract: 一种HADOOP集群的能耗监测及优化方法，它属于计算机技术领域。本发明解决了现有功耗预测模型的泛化能力差、现有能耗预测方法未考虑CPU频率的影响以及现有能耗优化方法难以识别出最优配置参数组合的问题。本发明首先对功率缺失值进行填补，再利用填补后的数据对功耗预测模型进行训练，且训练过程中考虑了硬件资源使用情况数据，提高了训练好的功耗预测模型的泛化能力。本发明定性研究了包含集群服务器CPU频率在内的硬件参数和HADOOP集群配置参数列表对于集群能耗的映射关系，并利用基于强化学习的参数选择算法对配置参数列表进行选择并以此为基础应用调优，可以识别出最优配置参数组合，实现对能耗的优化。本发明方法可以应用于HADOOP集群的能耗监测及优化。

公开(公告)号：CN119781936A

公开(公告)日：2025-04-08

申请号：CN202411973777.6

申请日：2024-12-30

Applicant: 哈尔滨工业大学 ,  中国移动通信集团黑龙江有限公司

Inventor： 巢泽敏 ,  陈潇 ,  杜长斌 ,  孙长秋 ,  王宏志 ,  谭世喆 ,  岑建何 ,  王宇 ,  葛广志 ,  朱艳秋 ,  柴云峰 ,  李菲 ,  高肇明 ,  李欣宇

IPC: G06F9/48 ,  G06F9/50 ,  G06N20/00

Abstract: 一种Spark自动能效优化方法，涉及计算机技术领域，针对现有Spark应用的能效优化效率低的问题，本申请的技术方案可以显著提升Spark应用的能效优化效率。在本申请中，用户仅需提交命令，系统即可自动解析参数、应用需求，并调用优化方案进行参数调优，大大减轻了手动调优的工作负担，加速了Spark应用的部署和执行过程。本申请所提出的技术方案结合了启发式优化和机器学习方法的优势，能够在数据不足的情况下依赖硬件条件进行初步调优(“冷启动”)，并且为后续的机器学习模型提供训练数据。这种方案增强了系统在不同场景下的适应性和鲁棒性。