《Spark大数据技术与应用》

第1章Spark简介与运行原理1

1.1 Spark是什么1

1.2 Spark的生态系统3

1.3 Spark的架构与原理4

1.4 Spark 2.X新特性6

第2章Spark的环境搭建8

2.1环境搭建前的准备8

2.2 Spark相关配置12

2.3 Spark集群启动与关闭16

2.4 Spark应用提交到集群17

2.5 Spark Web监控页面18

第3章开发Spark应用20

3.1 Java编程语言20

3.2 Scala编程语言21

3.3 R编程语言22

3.4 Python编程语言23

3.5 PySpark的启动与日志设置24

3.6 PySpark开发包的安装26

3.7使用PyCharm编写Spark应用27

第4章Spark RDD34

4.1弹性分布式数据集34

4.2 transform算子37

4.3 action算子40

4.4 RDD Key—Value转换算子44

4.5 RDD Key—Value动作运算47

4.6共享变量48

4.7依赖关系50

4.8 Spark RDD的持久化53

第5章DataFrame与Spark SQL57

5.1 DataFrame57

5.2 Spark SQL61

5.3 Spark SQL、DataFrame的常用操作66

第6章Spark Streaming73

6.1 Spark Streaming介绍73

6.2流数据加载74

6.3 DStream转换操作76

6.4 DStream输出操作79

6.5 DataFrame与SQL操作81

6.6实时WordCount实验82

第7章Spark机器学习库86

7.1 Spark机器学习库86

7.2准备数据87

7.3使用ML机器学习库88

第8章GraphFrames图计算101

8.1图101

8.2 GraphFrames介绍104

8.3 GraphFrame编程模型105

8.4 GraphFrames实现的算法110

8.5基于GraphFrames的网页排名115

第9章出租车数据分析118

9.1数据处理118

9.2数据分析119

9.3百度地图可视化121

第10章图书推荐系统125

10.1 Django简介125

10.2 Django项目搭建129

10.3推荐引擎设计139

10.4系统设计与实现145

参考文献151