《表4 数据块大小为512 MB时的测试结果》
提示:宽带有限、当前游客访问压缩模式
本系列图表出处文件名:随高清版一同展现
《多MapReduce作业协同下的大数据挖掘类算法资源效率优化》
为了测试MapReduce原生环境及Distributed Cache内存缓存条件下数据吞吐量的区别,本实验协同执行10个读取文本文件的MapReduce job,这样可以将实验的MapReduce作业的性能瓶颈控制到I/O性能上。实验数据量大小为40 GB的文本文件,HDFS及Distributed Cache中数据块大小分别设置为512 MB与1 GB不同的两组。HDFS中数据块的分布策略为默认的机架感知模式,每组分别进行三次测试,首先当数据块大小为512 MB时测试结果如表4所示。
图表编号 | XD00163328900 严禁用于非法目的 |
---|---|
绘制时间 | 2020.05.01 |
作者 | 廖彬、张陶、于炯、黄静莱、国冰磊、刘炎 |
绘制单位 | 新疆财经大学统计与数据科学学院、新疆大学信息科学与工程学院、新疆大学信息科学与工程学院、新疆财经大学统计与数据科学学院、新疆大学信息科学与工程学院、清华大学软件学院 |
更多格式 | 高清、无水印(增值服务) |