-
公开(公告)号：CN113204539B
公开(公告)日：2023-08-22
申请号：CN202110516717.1
申请日：2021-05-12
Applicant: 南京大学
Abstract: 本发明公开了一种融合系统语义的大数据系统参数自动优化方法，包括如下步骤：对系统运行作业和数据集进行特征提取；学习历史作业和数据集的大数据系统参数调优日志，形成参数预测模型；根据作业和数据集特征，预测较优的参数配置；从预测参数配置(较优)开始，配置系统参数并执行作业；在作业执行过程或执行结束后进行多维度性能分析；根据分析结果进行遗传搜索，得到更优参数；根据系统语义判断参数配置的合理性，实现参数搜索过程中的剪枝优化。本发明在多种大数据应用场景下均实现了大数据系统参数自动优化，提高大数据计算作业性能，解决现有技术不能同时兼顾参数推荐精准度和参数搜索效率的问题。
-
公开(公告)号：CN113204539A
公开(公告)日：2021-08-03
申请号：CN202110516717.1
申请日：2021-05-12
Applicant: 南京大学
Abstract: 本发明公开了一种融合系统语义的大数据系统参数自动优化方法，包括如下步骤：对系统运行作业和数据集进行特征提取；学习历史作业和数据集的大数据系统参数调优日志，形成参数预测模型；根据作业和数据集特征，预测较优的参数配置；从预测参数配置(较优)开始，配置系统参数并执行作业；在作业执行过程或执行结束后进行多维度性能分析；根据分析结果进行遗传搜索，得到更优参数；根据系统语义判断参数配置的合理性，实现参数搜索过程中的剪枝优化。本发明在多种大数据应用场景下均实现了大数据系统参数自动优化，提高大数据计算作业性能，解决现有技术不能同时兼顾参数推荐精准度和参数搜索效率的问题。
-
Search Results
2
records
(took 0.02 seconds)
