首页 > 中山大学学报（自然科学版） > 适应节能与异构环境的 MapReduce 数据布局策略

适应节能与异构环境的 MapReduce 数据布局策略

An Energy-Efficient and Heterogeneous Environment Adaptive Data Layout Strategy for MapReduce

二维码有效期 120s

摘要大数据处理过程中产生的高能耗问题亟待解决，尤其是在数据量规模剧增的背景下。在对已有数据布局策略存在问题分析的基础上，分析了与基于存储区域划分的节能模式及与异构HDFS集群的不适应、数据块切分算法不灵活、存储节点选择的随机性等几个方面的问题，继而提出面向节能的MapReduce数据布局策略。首先，新策略适应将集群划分为不同存储区域（ Active－Zone与Sleep－Zone）的节能模式；其次，新策略对传统的数据块数计算方法进行了改进，提出作业截止时间约束下的最小任务数计算方法确定数据块数量；最后，新的存储策略增加了对异构集群环境的适应能力，并能根据不同的作业类型进行存储节点的选择。实验结果表明：新的数据布局策略能够适应异构集群环境，达到减小MapReduce作业能耗的目的。

作者廖彬 ^[1] 张陶 ^[2] 于炯 ^[3] 刘继 ^[4] 钟磊 ^[4] 刘炎 ^[5] 学术成果认领

作者单位新疆财经大学统计与信息学院，新疆乌鲁木齐830012; 新疆大学软件学院，新疆乌鲁木齐830008 ^[1] 新疆医科大学医学工程技术学院,新疆乌鲁木齐,830011 ^[2] 新疆大学软件学院,新疆乌鲁木齐,830008 ^[3] 新疆财经大学统计与信息学院,新疆乌鲁木齐,830012 ^[4] 清华大学软件学院,北京,100084 ^[5]

关键词绿色计算 MapReduce 异构环境数据布局 green computing MapReduce heterogeneous environment data layout

分类号 TP393.09

DOI 10.13471/j.cnki.acta.snus.2015.06.011

发布时间 2016-01-18（万方平台首次上网日期，不代表论文的发表时间）

基金项目

国家自然科学基金（61562078）国家自然科学基金（61262088）国家自然科学基金（71261025）新疆财经大学博士启动基金（2015BS007）