-
公开(公告)号:CN110262897B
公开(公告)日:2023-01-31
申请号:CN201910510964.3
申请日:2019-06-13
Applicant: 东北大学
IPC: G06F9/50
Abstract: 本发明提出一种基于负载预测的Hadoop计算任务初始分配方法,包括:使用延迟调度策略的AppMaster选择方法,开启AppMaster;基于BP神经网络的节点,计算资源分配数量;使用DRF算法的用户队列和用户作业选择方法,开启子任务;本发明基于延迟调度策略的AppMaster选择算法,提高了AppMaster运行时的稳定性,保证了作业的正常运行。基于BP神经网络的节点计算资源分配算法,减少高负载标签计算节点分配的任务量,增加低负载标签计算节点分配的任务量,提高了集群整体的稳定性和性能。基于DRF的用户队列和用户作业选择算法,当作业所属的队列资源不够时,根据占主导地位的计算资源使用情况来选择叶子队列和用户作业,最终达到合理化计算任务初始分配,均衡集群负载,提高集群性能的目标。
-
公开(公告)号:CN110348122B
公开(公告)日:2023-01-17
申请号:CN201910624856.9
申请日:2019-07-11
Applicant: 东北大学
Abstract: 本发明提供一种基于特征选择的季节型非平稳并发量能耗分析方法,涉及云计算技术领域。该方法针对Web应用特性建立能耗模型。首先,基于负载检测工具提取出相关多维特征,并使用工具测出对应能耗数据;然后,对提取的数据进行预处理,提高数据质量与建模效率;然后,采用效率高的过滤型特征选择算法与性能好的装箱式特征选择算法进行相关特征的选择;最后,对筛选完的多维特征以及能耗数据进行回归分析,建立能耗模型。本发明方法同时考虑多种对云服务中心整体能耗有贡献的资源,提取多种数据特征,并对提取的数据进行预处理,提高了数据质量与建模效率,也使能耗模型更加精确。
-
公开(公告)号:CN113673684A
公开(公告)日:2021-11-19
申请号:CN202110973801.6
申请日:2021-08-24
Applicant: 东北大学
Abstract: 本发明公开一种基于输入修剪的边缘端DNN模型加载系统及方法,系统包括管理模块和压缩模块,其中管理模块包括样本管理模块、模型训练模块和模型管理模块;压缩模块包括压缩模式选择模块、数据压缩模块、模型压缩与重训练模块和压缩日志记录模块;采用该系统本发明基于样本数据构建贝叶斯网络并对网络进行训练,根据贝叶斯网络对模型的输入与输出进行关联性分析,并根据帕累托最优构建代表输入影响度的双向列表,以优化逐个删除输入属性带来的较高时间复杂度;最后结合聚类算法对输入数据属性间的相似性进行分析,并根据以上两种压缩策略及它们的衍生压缩策略完成对模型的个性化和智能化压缩加载,提升了边缘端的整体性能和部署模型的数量。
-
公开(公告)号:CN110413657B
公开(公告)日:2021-08-17
申请号:CN201910624505.8
申请日:2019-07-11
Applicant: 东北大学
IPC: G06F16/2458 , G06F16/215 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种面向季节型非平稳并发量的平均响应时间评估方法,涉及云计算技术领域。该方法首先基于自相关系数法判定云服务系统中的请求并发量中的季节型非平稳并发量;然后建立基于RNN‑LSTM神经网络的季节型非平稳并发量预测模型,并进行季节型非平稳并发量预测;建立基于RBF的云服务系统平均响应时间预测模型,将预测的用户季节型非平稳并发量、CPU利用率、内存利用率这些影响云服务平均响应时间的资源状态信息预处理完之后作为输入,输出为云服务系统的平均响应时间大小。本发明方法克服了传统的负载均衡策略的不足,提高了季节型非平稳并发量的预测精度,能及时对服务性能作出评估响应,使云计算系统能更好的为用户提供服务。
-
公开(公告)号:CN110187990A
公开(公告)日:2019-08-30
申请号:CN201910466719.7
申请日:2019-05-31
Applicant: 东北大学
Abstract: 本发明提出一种基于模式转移的虚拟机混合备用动态可靠性评估方法,包括:采集资源和性能数据,并进行特性选择及标准化处理;对标准化后数据,预测基于HSMM的虚拟机失效概率;基于多值决策图的冷热备份云系统进行可靠性评估;为了达到准确的对系统的可靠性进行定量评估,本发明简化MDD的终端值,将从根节点到1的所有路径的发生概率的总和作为系统的可靠性。并将虚拟机分成三种不同模式即操作模式、冷备份模式和热备份模式,采用模式转移,使备用虚拟机在需要时替换失效的工作虚拟机来维持系统的运行,采用多值决策图进行可靠性评估。通过三组对比试验,验证得到本发明的平均响应时间和失效率低,可靠性高,从侧面验证本发明方法的正确性。
-
公开(公告)号:CN113673684B
公开(公告)日:2024-08-02
申请号:CN202110973801.6
申请日:2021-08-24
Applicant: 东北大学
IPC: G06N3/082 , G06N3/0495 , G06N3/047 , G06N7/01 , G06F18/22 , G06F18/23213 , G06F16/17 , G06F16/215 , G06F16/22
Abstract: 本发明公开一种基于输入修剪的边缘端DNN模型加载系统及方法,系统包括管理模块和压缩模块,其中管理模块包括样本管理模块、模型训练模块和模型管理模块;压缩模块包括压缩模式选择模块、数据压缩模块、模型压缩与重训练模块和压缩日志记录模块;采用该系统本发明基于样本数据构建贝叶斯网络并对网络进行训练,根据贝叶斯网络对模型的输入与输出进行关联性分析,并根据帕累托最优构建代表输入影响度的双向列表,以优化逐个删除输入属性带来的较高时间复杂度;最后结合聚类算法对输入数据属性间的相似性进行分析,并根据以上两种压缩策略及它们的衍生压缩策略完成对模型的个性化和智能化压缩加载,提升了边缘端的整体性能和部署模型的数量。
-
公开(公告)号:CN113672608B
公开(公告)日:2023-07-25
申请号:CN202110978851.3
申请日:2021-08-25
Applicant: 东北大学
IPC: G06F16/215 , G06F16/22 , G06F16/31 , G06F16/23 , G16Y20/00
Abstract: 本发明公开一种基于自适应约简阈值的物联网感知数据约简系统及方法,系统包括数据加载模块、自适应数据约简模块和数据重建模块;采用这个系统进行数据约简的方法基于实时的物联网感知数据,在传感器端通过概念漂移检测对数据变化趋势建模,基于漂移检测动态自适应确定卡尔曼滤波器的约简阈值,基于卡尔曼滤波器的数据估计与实际值之差约简数据并将约简后的数据和建模的数据趋势上传至边缘端,在边缘端根据约简后数据与数据趋势重建数据,最终达到在保证数据准确率和数据质量的前提下减少数据采集和传输的目的,同时可以显著降低传感器节点的能源消耗以及边缘端数据存储。
-
公开(公告)号:CN110362383B
公开(公告)日:2022-06-24
申请号:CN201910627610.7
申请日:2019-07-12
Applicant: 东北大学
Abstract: 本发明提供一种面向季节型非平稳并发量的P‑E权衡的VM迁移方法,涉及云计算技术领域。该方法包括VM静态部署和VM动态迁移两部分;首先,根据物理服务器提供的以及各个VM需要的内存与CPU资源进行VM的静态部署,该过程在满足客户需求的情况下,将VM部署到物理主机上,同时,尽量减少物理主机的数量,达到降低能耗的目的。VM静态部署之后,采用VM动态迁移策略完成VM的迁移。包括两部分,第一部分使用RBF算法对各VM的平均响应时间进行预测,根据设置的阈值选择需要迁移的VM;第二部分是目标服务器的选择,通过更新的资源需求矩阵选择目标服务器,完成一个阶段的VM的迁移;第一部分与第二部分循环进行,完成整个的VM迁移过程。
-
公开(公告)号:CN110149237B
公开(公告)日:2021-06-22
申请号:CN201910510953.5
申请日:2019-06-13
Applicant: 东北大学
Abstract: 本发明提出一种Hadoop平台计算节点负载预测方法,包括:基于滑动窗口二次检测算法的数据预处理方法;基于ARIMA算法的节点负载线性预测方法;基于RNN算法的节点负载非线性残差预测方法;将ARIMA算法与RNN算法预测出来的结果进行线性相加作为最终的预测结果;本发明通过对各个结算节点历史数据的分析,可以提取有价值的信息,进而合理预测下一时间段内的计算节点的负载,精确预测计算节点的负载可以为资源管理器合理地给AppMaster分配资源提供依据,进而缓解高负载节点的压力,提升低负载节点的计算资源利用率,提高Hadoop集群的可靠性和性能。本发明通过ARIMA和RNN模型组合,更加精确的对负载进行预测。
-
公开(公告)号:CN112685139A
公开(公告)日:2021-04-20
申请号:CN202110030466.6
申请日:2021-01-11
Applicant: 东北大学
Abstract: 本发明提供一种基于K8S和Kubeedge的云边深度学习模型管理系统及模型训练方法。所述系统包括云端服务器、边缘智能设备和云边通信模块,首先在云端服务器上创建深度学习任务,根据用户配置参数构建深度学习模型并进行预训练,如果需要云边协同训练时,通过云边通信模块将边缘侧深度学习任务以及预训练模型传输给边缘智能设备,利用采集的样本数据对预训练模型再次进行训练,并将训练后的模型上传回云端服务器,通过云端服务器进行模型参数的融合,生成云边协同训练后的模型,本发明借助边缘智能设备采集的应用场景的样本数据训练深度模型,让云端服务器的模型掌握不同应用场景的环境差异和需求,从而解决样本不足和应用环境间差异的问题。
-
-
-
-
-
-
-
-
-