《表1 Hadoop集群每个节点的部署》
本系统部署在校园云平台上,需要搭建的服务器主要包括Hadoop集群服务器、应用服务器、采集服务器等。大数据集群服务器由6个点组成,1个Master主节点,5个Slave从节点,两个NameNode组成,一个处于active状态,另一个处于standby状态,主备NameNode之间通过一组JournalNode同步元数据信息。ZooKeeper服务器搭建在子节点1、2、3上。拓扑如图3所示。ResourceManager也有两个,一个是Active,一个是Standby,状态由Zookeeper进行协调。每个节点上进行Hadoop,Spark,Zookeeper,Yarn的部署,具体配置过程不再叙述。
图表编号 | XD0033264400 严禁用于非法目的 |
---|---|
绘制时间 | 2019.02.25 |
作者 | 石敏、卢丹海、秦婷 |
绘制单位 | 西安邮电大学、西安邮电大学、西安邮电大学 |
更多格式 | 高清、无水印(增值服务) |