《表4 不同环境不同数据量下时空数据处理时间》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于HDFS+Spark的时空大数据存储与处理——以智慧无锡时空大数据为例》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

从实验结果可以看出，由于单机环境中计算机处理器及内存的限制，1000个格网和10000个点进行空间包含运算，时间稳定在6分钟左右，效率非常低下。当数据量增加到一定程度后，单机处理能力超出界限，导致处理失败，而集群模式处理的运算效率远高于单机模式。因此处理海量数据，必须依靠Spark这种集群模式的并行处理框架，并且随着集群节点个数的增加，处理效率也会随之提高，集群环境可解决单机环境无法处理的问题。