换一批基于作业历史运行信息的MapReduce能耗预测模型
Prediction Model of Energy Consumption for MapReduce Based on Job Running History Logs
摘要在数据量规模剧增的背景下,大数据处理过程中产生的高能耗问题亟待解决,而能耗模型是研究提高能耗效率方法的基础.利用传统的能耗模型计算MapReduce作业执行能耗面临诸多挑战,在对大数据计算模型MapReduce的集群结构、作业的任务分解及任务与资源映射模型分析建模的基础上,提出基于作业历史运行信息的MapReduce能耗预测模型.通过对不同作业历史运行信息的分析,得到DataNode运行不同任务时的计算能力及能耗特性,继而实现在MapReduce作业执行前对作业能耗的预测.实验结果验证了能耗预测模型的可行性,并通过对能耗预测准确率调节因子的修正,能够达到提高能耗模型的预测准确度的目的.
更多相关知识
- 浏览0
- 被引3
- 下载0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
