基于K8S和Kubeedge的云边深度学习模型管理系统及模型训练方法

    公开(公告)号:CN112685139B

    公开(公告)日:2024-07-19

    申请号:CN202110030466.6

    申请日:2021-01-11

    Applicant: 东北大学

    Abstract: 本发明提供一种基于K8S和Kubeedge的云边深度学习模型管理系统及模型训练方法。所述系统包括云端服务器、边缘智能设备和云边通信模块,首先在云端服务器上创建深度学习任务,根据用户配置参数构建深度学习模型并进行预训练,如果需要云边协同训练时,通过云边通信模块将边缘侧深度学习任务以及预训练模型传输给边缘智能设备,利用采集的样本数据对预训练模型再次进行训练,并将训练后的模型上传回云端服务器,通过云端服务器进行模型参数的融合,生成云边协同训练后的模型,本发明借助边缘智能设备采集的应用场景的样本数据训练深度模型,让云端服务器的模型掌握不同应用场景的环境差异和需求,从而解决样本不足和应用环境间差异的问题。

    一种基于负载预测的Hadoop计算任务推测执行方法

    公开(公告)号:CN110221909B

    公开(公告)日:2023-01-17

    申请号:CN201910510535.6

    申请日:2019-06-13

    Applicant: 东北大学

    Abstract: 本发明提出一种基于负载预测的Hadoop计算任务推测执行方法,包括:资源管理器对备份任务数自适应调整,得到最大备份任务数;预测执行任务完成时间;将最大备份任务数与APPmaster设置的备份任务数比较,取最小值作为备份任务数阈值;判断备份任务数是否小于等于备份任务数阈值;判断任务数是否小于总任务数;预测备份任务完成时间;判断备份任务完成时间和执行任务完成时间大小,确定是否开启备份;本发明保证了当集群计算资源紧张的情况下,备份任务的开启不会对其他作业产生影响;执行任务的完成时间预测算法,有效避免了迟滞任务的误判导致计算资源浪费;备份任务完成时间预测算法,节约计算节点的计算资源,减少作业的完成时间,提高了集群的整体性能。

    一种基于AdaBoost-Elman的虚拟机软件老化预测方法

    公开(公告)号:CN110083518B

    公开(公告)日:2021-11-16

    申请号:CN201910354685.2

    申请日:2019-04-29

    Applicant: 东北大学

    Abstract: 本发明提供一种基于AdaBoost‑Elman的虚拟机软件老化预测方法,涉及云计算技术领域。该方法首先设定评估虚拟机软件老化程度的等级,并训练虚拟机的软件老化指标预测模型和未老化虚拟机参照预测模型;然后将业务并发量预测值和性能数据输入到离线过程训练的虚拟机的软件老化指标预测模型和未老化虚拟机参照预测模型中,输出虚拟机的软件老化指标预测结果和未老化虚拟机的参照预测结果;最后根据虚拟机的软件老化指标预测结果和未老化虚拟机的参照预测结果来评估虚拟机的软件老化趋势。本发明方法能够预测出当前工作虚拟机的软件老化指标,并与未老化的虚拟机进行对比,从而得到下一段时间虚拟机的软件老化程度,提前采取防范措施。

    面向季节型非平稳并发量的平均响应时间评估方法

    公开(公告)号:CN110413657A

    公开(公告)日:2019-11-05

    申请号:CN201910624505.8

    申请日:2019-07-11

    Applicant: 东北大学

    Abstract: 本发明提供一种面向季节型非平稳并发量的平均响应时间评估方法,涉及云计算技术领域。该方法首先基于自相关系数法判定云服务系统中的请求并发量中的季节型非平稳并发量;然后建立基于RNN-LSTM神经网络的季节型非平稳并发量预测模型,并进行季节型非平稳并发量预测;建立基于RBF的云服务系统平均响应时间预测模型,将预测的用户季节型非平稳并发量、CPU利用率、内存利用率这些影响云服务平均响应时间的资源状态信息预处理完之后作为输入,输出为云服务系统的平均响应时间大小。本发明方法克服了传统的负载均衡策略的不足,提高了季节型非平稳并发量的预测精度,能及时对服务性能作出评估响应,使云计算系统能更好的为用户提供服务。

    基于特征选择的季节型非平稳并发量能耗分析方法

    公开(公告)号:CN110348122A

    公开(公告)日:2019-10-18

    申请号:CN201910624856.9

    申请日:2019-07-11

    Applicant: 东北大学

    Abstract: 本发明提供一种基于特征选择的季节型非平稳并发量能耗分析方法,涉及云计算技术领域。该方法针对Web应用特性建立能耗模型。首先,基于负载检测工具提取出相关多维特征,并使用工具测出对应能耗数据;然后,对提取的数据进行预处理,提高数据质量与建模效率;然后,采用效率高的过滤型特征选择算法与性能好的装箱式特征选择算法进行相关特征的选择;最后,对筛选完的多维特征以及能耗数据进行回归分析,建立能耗模型。本发明方法同时考虑多种对云服务中心整体能耗有贡献的资源,提取多种数据特征,并对提取的数据进行预处理,提高了数据质量与建模效率,也使能耗模型更加精确。

    一种支持性能保障的操作模式虚拟机数量评估方法

    公开(公告)号:CN110162406B

    公开(公告)日:2023-01-17

    申请号:CN201910466883.8

    申请日:2019-05-31

    Applicant: 东北大学

    Abstract: 本发明提出一种支持性能保障的操作模式虚拟机数量评估方法,包括:初始化参数;求出资源可用量和资源需求量;求出需要调整的虚拟机数量;据虚拟机当前数量、虚拟机调整数量的和与虚拟机的最少数量之间的大小关系,调整操作模式虚拟机数量来应对服务突发并发量。根据并发量预测结果调整操作模式虚拟机数量以满足用户需求,当性能不足时,需要从热备份转移一定数量的虚拟机到操作模式。当性能过高时,减少一部分操作模式虚拟机会使系统可靠性增加并减低能耗。确定操作模式转移数量不仅会对性能造成影响,还会影响可靠性和能耗,本发明制定相应操作模式虚拟机资源调整策略,建立支持性能保障的操作模式数量调整方法。

    一种针对虚拟机不同类型的业务并发量预测方法

    公开(公告)号:CN110096335B

    公开(公告)日:2022-06-21

    申请号:CN201910355147.5

    申请日:2019-04-29

    Applicant: 东北大学

    Abstract: 本发明提供一种针对虚拟机不同类型的业务并发量预测方法,涉及云计算技术领域。一种针对虚拟机不同类型的业务并发量预测方法,首先采集虚拟机的历史业务并发量,并进行预处理,然后基于改进的1最近邻‑动态时间调整方法1NN‑DTW判断虚拟机业务并发量的类型;最后采用分类回归树拟合不具有周期变化的业务并发量;采用傅里叶级数FS和分类回归树CART拟合具有周期变化的业务并发量;本发明提供的针对虚拟机不同类型的业务并发量预测方法,对虚拟机各业务的并发量进行预测,可以为下一步虚拟机的增加或者减少提供依据,同时有助于准确估计虚拟机的软件老化状况,以达到提高工作虚拟机性能和可靠性的目的。

    基于自适应约简阈值的物联网感知数据约简系统及方法

    公开(公告)号:CN113672608A

    公开(公告)日:2021-11-19

    申请号:CN202110978851.3

    申请日:2021-08-25

    Applicant: 东北大学

    Abstract: 本发明公开一种基于自适应约简阈值的物联网感知数据约简系统及方法,系统包括数据加载模块、自适应数据约简模块和数据重建模块;采用这个系统进行数据约简的方法基于实时的物联网感知数据,在传感器端通过概念漂移检测对数据变化趋势建模,基于漂移检测动态自适应确定卡尔曼滤波器的约简阈值,基于卡尔曼滤波器的数据估计与实际值之差约简数据并将约简后的数据和建模的数据趋势上传至边缘端,在边缘端根据约简后数据与数据趋势重建数据,最终达到在保证数据准确率和数据质量的前提下减少数据采集和传输的目的,同时可以显著降低传感器节点的能源消耗以及边缘端数据存储。

    一种支持可靠性保障的冷热操模式虚拟机数量评估方法

    公开(公告)号:CN110188002A

    公开(公告)日:2019-08-30

    申请号:CN201910466716.3

    申请日:2019-05-31

    Applicant: 东北大学

    Abstract: 本发明提出一种支持可靠性保障的冷热操模式虚拟机数量评估方法,包括:初始化参数;虚拟机的失效率排序;当前系统的可靠性与可靠性上限阈值比较,进行模式转换;前系统的可靠性与可靠性下限阈值比较,进行模式转换;单个操作模式虚拟机失效率与失效限定条件比较,进行模式转换;调用MDD算法重新评估系统的可靠性R1,系统可靠性R1与可靠性下限阈值比较,进行模式转换。为了使虚拟机冷热模式之间的数量分配达到平衡,本发明在操作模式虚拟机数量变化时,在满足可靠性要求R的基础上,调整冷热备份模式数量使系统满足可靠性要求,可靠性的高低通过平均响应时间和平均请求失败率来反映,实验证明本发明可以使得系统可靠性提高。

Patent Agency Ranking