《表1 计算执行过程资源配置参数》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于大数据处理平台的计算任务调度的配置优化》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

构建一个运行环境，硬件系统：Hadoop集群包含16个节点，将其连接于单机架，每个节点配置1GB内存，42.93GHz CPU，存储空间为350G，所用网络为千兆网络交换机。采用Linux操作系统，每个节点可以运行3个Map子任务及2个Reduce子任务，计算机执行过程中资源具体配置如表1所示。结果显示，集群re鄄duce任务插槽促进了执行有效并发度的提升，缓解了单个reduce任务处理压力。当reduce任务数量增长，其性能也得到了大幅度提升。