一种基于聚类集成的高性能应用的I/O特征分析方法

    公开(公告)号:CN118227435A

    公开(公告)日:2024-06-21

    申请号:CN202410274009.5

    申请日:2024-03-11

    Applicant: 西北大学

    Abstract: 本发明公开了一种基于聚类集成的高性能应用的I/O特征分析方法,包括:收集应用程序的I/O访问信息并提取I/O特征;对I/O特征数据进行清洗和标准化预处理;调用特征选择函数mutual_info_regression进行特征选择,得到最具有代表性的特征子集;采用K‑means++算法来进行单聚类,并采用投票机制来对多个聚类结果进行集成;将得到的聚类结果用Silhouette Coefficient和Calinski‑Harabasz作为评估聚类算法效果的指标,本发明通过特征选择提取出关键的性能特征,并采用多次单聚类算法K‑means++进行多次聚类,并执采用投票机制进行聚类集成,提高了聚类效果,在HPC I/O调优上缩短了搜索时间,提高了执行效率。

    基于特征选择的高性能应用I/O性能预测模型构建方法

    公开(公告)号:CN118211041A

    公开(公告)日:2024-06-18

    申请号:CN202410265688.X

    申请日:2024-03-08

    Applicant: 西北大学

    Abstract: 本发明公开了一种基于特征选择的高性能应用I/O性能预测模型构建方法,包括样本数据的收集、特征的设计、特征集合的选择、回归模型的选择分析和性能模型的调优应用,在通过回归算法构建性能预测模型的基础上,增加了使用特征选择算法的过程提取关键特征,特征选择算法从原始特征集合中通过评估特征与I/O性能指标的相关性选择出最优特征集,并使用各种回归算法的组合来进行预测,相比于原有的使用预先设定的特征集训练模型,本发明的方法能够提高预测模型准确率。

    基于回归的高性能应用I/O性能模型训练与分析方法

    公开(公告)号:CN116483686A

    公开(公告)日:2023-07-25

    申请号:CN202310239137.1

    申请日:2023-03-13

    Applicant: 西北大学

    Abstract: 本发明公开的基于回归的高性能应用I/O性能模型训练与分析方法,包括特征的设计、收集数据时采样算法的选择分析、回归模型的选择分析、模型特征重要性分析和性能模型的调优应用,在现有的训练I/O性能模型的基础上,增加了使用LHS拉丁超立方对数据集进行采样收集,通过使用LHS采样能够在较小的样本集中充分探索潜在的参数空间,从而在不影响模型效果的情况下减少实验数据收集的数量提高效率,提高了模型训练的效率和准确性,对应用预测模型解决实际程序I/O性能问题提供了解决思路和方案。

Patent Agency Ranking