《Hadoop大数据原理与应用实验教程》求取 ⇩

上篇基础实验篇2

实验1部署全分布模式Hadoop集群2

1.1实验目的、实验环境和实验内容3

1.2实验原理3

1.2.1Linux基本命令3

1.2.2 vim编辑器6

1.2.3 Java基本命令7

1.2.4 SSH安全通信协议8

1.2.5 Hadoop8

1.3实验步骤12

1.3.1规划部署12

1.3.2准备机器14

1.3.3准备软件环境14

1.3.4获取和安装Hadoop22

1.3.5配置全分布模式Hadoop集群22

1.3.6关闭防火墙30

1.3.7格式化文件系统31

1.3.8启动和验证Hadoop32

1.3.9关闭Hadoop41

1.3.10实验报告要求42

1.4拓展训练——部署伪分布模式Hadoop集群42

1.4.1规划部署43

1.4.2准备机器43

1.4.3准备软件环境44

1.4.4下载和安装Hadoop47

1.4.5配置Hadoop47

1.4.6格式化文件系统49

1.4.7启动和验证伪分布模式Hadoop集群49

1.4.8关闭伪分布模式Hadoop集群54

思考与练习题55

参考文献55

实验2实战H DFS57

2.1实验目的、实验环境和实验内容57

2.2实验原理58

2.2.1初识HDFS58

2.2.2HDFS的体系架构58

2.2.3 HDFS文件的存储原理60

2.2.4 HDFS接口64

2.3实验步骤70

2.3.1启动Hadoop集群70

2.3.2使用HDFS Shell71

2.3.3使用HDFS Web UI72

2.3.4搭建HDFS的开发环境Eclipse73

2.3.5使用HDFS Java API编程75

2.3.6关闭Hadoop集群87

2.3.7实验报告要求87

2.4拓展训练——搭建HDFS NameNode HA88

思考与练习题92

参考文献92

实验3MapReduce编程94

3.1实验目的、实验环境和实验内容94

3.2实验原理95

3.2.1MapReduce的编程思想95

3.2.2 MapReduce的作业执行流程97

3.2.3 MapReduce Web98

3.2.4 MapReduce Shell98

3.2.5 MapReduce Java API99

3.3实验步骤99

3.3.1启动Hadoop集群99

3.3.2搭建MapReduce的开发环境Eclipse100

3.3.3编写并运行MapReduce程序WordCount100

3.3.4练习使用MapReduce Shell命令111

3.3.5练习使用MapReduce Web UI界面112

3.3.6关闭Hadoop集群113

3.3.7实验报告要求113

3.4拓展训练113

3.4.1在Windows平台上开发MapReduce程序113

3.4.2MapReduce编程实践：使用MapReduce统计对象中的某些属性117

思考与练习题122

参考文献122

实验4部署ZooKeeper集群和实战ZooKeeper123

4.1实验目的、实验环境和实验内容123

4.2实验原理124

4.2.1ZooKeeper的系统模型124

4.2.2 ZooKeeper的工作原理128

4.2.3部署ZooKeeper131

4.2.4 ZooKeeper的四字命令134

4.2.5 ZooKeeper Shell135

4.2.6 ZooKeeper Java API137

4.3实验步骤139

4.3.1规划ZooKeeper集群139

4.3.2部署ZooKeeper集群140

4.3.3启动ZooKeeper集群143

4.3.4验证ZooKeeper集群144

4.3.5使用ZooKeeper的四字命令144

4.3.6使用ZooKeeper Shell的常用命令146

4.3.7关闭ZooKeeper集群151

4.3.8实验报告要求151

4.4拓展训练152

4.4.1搭建ZooKeeper的开发环境Eclipse152

4.4.2ZooKeeper编程实践——ZooKeeper文件系统的增删改查152

4.4.3 ZooKeeper编程实践——循环监听160

思考与练习题162

参考文献163

实验5部署全分布模式HBase集群和实战HBase164

5.1实验目的、实验环境和实验内容164

5.2实验原理165

5.2.1初识HBase165

5.2.2HBase的数据模型165

5.2.3 HBase的体系架构169

5.2.4部署HBase172

5.2.5 HBase接口174

5.3实验步骤178

5.3.1规划全分布模式HBase集群178

5.3.2部署全分布模式HBase集群179

5.3.3启动全分布模式HBase集群183

5.3.4验证全分布模式HBase集群184

5.3.5使用HBase Shell和HBasell Web UI186

5.3.6关闭全分布模式HBase集群189

5.3.7实验报告要求189

5.4拓展训练190

5.4.1搭建HBase的开发环境Eclipse190

5.4.2HBase编程实践：HBase表的增删改190

思考与练习题192

参考文献192

实验6部署本地模式Hive和实战Hive194

6.1实验目的、实验环境和实验内容194

6.2实验原理195

6.2.1初识Hive195

6.2.2Hive的体系架构196

6.2.3 Hive的数据类型198

6.2.4 Hive的文件格式199

6.2.5 Hive的数据模型200

6.2.6 Hive函数201

6.2.7部署Hive205

6.2.8 Hive接口208

6.3实验步骤211

6.3.1规划Hive211

6.3.2部署本地模式Hive213

6.3.3验证Hive223

6.3.4使用Hive Shell224

6.3.5实验报告要求227

6.4拓展训练228

6.4.1搭建Hive的开发环境Eclipse228

6.4.2Hive编程实践：操纵Hive数据库和表228

思考与练习题235

参考文献236

下篇拓展实验篇238

实验7部署Spark集群和Spark编程238

7.1实验目的、实验环境和实验内容238

7.2实验原理239

7.2.1初识Spark239

7.2.2Spark的体系架构241

7.2.3 Spark的计算模型246

7.2.4 RDD的设计与运行原理247

7.2.5 Spark集群部署250

7.2.6 Spark接口252

7.3实验步骤255

7.3.1规划Spark-Standalone集群255

7.3.2手工部署 Spark-Standalone集群257

7.3.3启动Spark-Standalone集群261

7.3.4验证Spark-Standalone集群261

7.3.5使用Spark Web UI、 Spark Shell和Spark API261

7.3.6关闭Spark-Standalone集群267

思考与练习题268

参考文献268

实验8实战Sqoop269

8.1实验目的、实验环境和实验内容269

8.2实验原理270

8.2.1初识Sqoop270

8.2.2Sqoop的体系架构271

8.2.3安装Sqoop272

8.2.4 Sqoop Shell273

8.2.5 Sqoop API277

8.3实验步骤277

8.3.1规划安装277

8.3.2安装和配置Sqoop279

8.3.3验证Sqoop281

8.3.4使用Sqoop Shell281

思考与练习题301

参考文献301

实验9实战Flume302

9.1实验目的、实验环境和实验内容302

9.2实验原理303

9.2.1初识Flume303

9.2.2Flume的体系架构304

9.2.3安装Flume306

9.2.4 Flume Shell307

9.2.5 Flume API309

9.3实验步骤309

9.3.1规划安装309

9.3.2安装和配置Flume310

9.3.3验证Flume311

9.3.4使用Flume311

思考与练习题318

参考文献318

实验10实战Kafka319

10.1实验目的、实验环境和实验内容319

10.2实验原理320

10.2.1初识Kafka320

10.2.2Kafka的体系架构321

10.2.3安装Kafka323

10.2.4 Kafka Shell325

10.2.5 Kafka API326

10.3实验步骤326

10.3.1规划Kafka集群326

10.3.2部署Kafka集群327

10.3.3启动Kafka集群329

10.3.4验证Kafka集群330

10.3.5使用Kafka Shell330

10.3.6关闭Kafka集群334

思考与练习题334

参考文献334