《深度学习图解》

第1章深度学习简介：为什么应该学习深度学习1

1.1欢迎阅读《深度学习图解》1

1.2为什么要学习深度学习2

1.3这很难学吗？3

1.4为什么要阅读本书3

1.5准备工作4

1.6你可能需要掌握一部分Python知识5

1.7本章小结6

第2章基本概念：机器该如何学习？7

2.1什么是深度学习？7

2.2什么是机器学习？8

2.3监督机器学习9

2.4无监督机器学习10

2.5参数学习和非参数学习10

2.6监督参数学习11

2.7无监督参数学习13

2.8非参数学习14

2.9本章小结15

第3章神经网络预测导论：前向传播17

3.1什么是预测17

3.2能够进行预测的简单神经网络19

3.3什么是神经网络？20

3.4这个神经网络做了什么？21

3.5使用多个输入进行预测23

3.6多个输入：这个神经网络做了什么？24

3.7多个输入：完整的可运行代码29

3.8预测多个输出30

3.9使用多个输入和输出进行预测32

3.10多输入多输出神经网络的工作原理33

3.11用预测结果进一步预测35

3.12 NumPy快速入门37

3.13本章小结40

第4章神经网络学习导论：梯度下降41

4.1预测、比较和学习41

4.2什么是比较42

4.3学习42

4.4比较：你的神经网络是否做出了好的预测？43

4.5为什么需要测量误差？44

4.6最简单的神经学习形式是什么？45

4.7冷热学习46

4.8冷热学习的特点47

4.9基于误差调节权重48

4.10梯度下降的一次迭代50

4.11学习就是减少误差52

4.12回顾学习的步骤54

4.13权重增量到底是什么？55

4.14狭隘的观点57

4.15 插着小棍的盒子58

4.16导数：两种方式59

4.17你真正需要知道的60

4.18你不需要知道的60

4.19如何使用导数来学习61

4.20看起来熟悉吗？62

4.21破坏梯度下降63

4.22过度修正的可视化64

4.23发散65

4.24引入α66

4.25在代码中实现α66

4.26记忆背诵67

第5章通用梯度下降：一次学习多个权重69

5.1多输入梯度下降学习69

5.2多输入梯度下降详解71

5.3回顾学习的步骤75

5.4单项权重冻结：它有什么作用？77

5.5具有多个输出的梯度下降学习79

5.6具有多个输入和输出的梯度下降81

5.7这些权重学到了什么？83

5.8权重可视化85

5.9点积（加权和）可视化86

5.10本章小结87

第6章建立你的第一个深度神经网络：反向传播89

6.1交通信号灯问题89

6.2准备数据91

6.3矩阵和矩阵关系92

6.4使用Python创建矩阵95

6.5建立神经网络96

6.6学习整个数据集97

6.7完全、批量和随机梯度下降97

6.8神经网络对相关性的学习98

6.9向上与向下的压力99

6.10边界情况：过拟合101

6.11边界情况：压力冲突101

6.12学习间接相关性103

6.13创建关联104

6.14堆叠神经网络：回顾105

6.15 反向传播：远程错误归因106

6.16反向传播：为什么有效？107

6.17线性与非线性107

6.18为什么神经网络仍然不起作用109

6.19选择性相关的秘密110

6.20快速冲刺111

6.21你的第一个深度神经网络111

6.22反向传播的代码112

6.23反向传播的一次迭代114

6.24整合代码116

6.25为什么深度网络这么重要？117

第7章如何描绘神经网络：在脑海里，在白纸上119

7.1到了简化的时候了119

7.2关联抽象120

7.3旧的可视化方法过于复杂121

7.4简化版可视化122

7.5进一步简化123

7.6观察神经网络是如何进行预测的124

7.7用字母而不是图片来进行可视化125

7.8连接变量126

7.9信息整合127

7.10可视化工具的重要性127

第8章学习信号，忽略噪声：正则化和批处理介绍129

8.1用在MNIST上的三层网络129

8.2好吧，这很简单131

8.3记忆与泛化132

8.4神经网络中的过拟合133

8.5过拟合从何而来134

8.6最简单的正则化：提前停止135

8.7行业标准正则化：dropout136

8.8为什么dropout有效：整合是有效的137

8.9 dropout的代码137

8.10在MNIST数据集上对dropout进行测试139

8.11批量梯度下降140

8.12本章小结143

第9章概率和非线性建模：激活函数145

9.1什么是激活函数？145

9.2标准隐藏层激活函数148

9.3标准输出层激活函数149

9.4核心问题：输入具有相似性151

9.5计算softmax152

9.6激活函数使用说明153

9.7将增量与斜率相乘156

9.8将输出转换为斜率（导数）157

9.9升级MNIST网络157

第10章卷积神经网络概论：关于边与角的神经学习161

10.1在多个位置复用权重161

10.2卷积层162

10.3基于NumPy的简单实现164

10.4本章小结167

第11章能够理解自然语言的神经网络：国王-男人+女人=？169

11.1理解语言究竟是指什么？170

11.2自然语言处理（NLP）170

11.3监督NLP学习171

11.4 IMDB电影评论数据集172

11.5在输入数据中提取单词相关性173

11.6对影评进行预测174

11.7引入嵌入层175

11.8解释输出177

11.9神经网络结构178

11.10单词嵌入表达的对比180

11.11神经元是什么意思？181

11.12完形填空182

11.13损失函数的意义183

11.14国王-男人+女人～=女王186

11.15单词类比187

11.16本章小结188

第12章像莎士比亚一样写作的神经网络：变长数据的递归层189

12.1任意长度的挑战189

12.2做比较真的重要吗？190

12.3平均词向量的神奇力量191

12.4信息是如何存储在这些向量嵌入中的？192

12.5神经网络是如何使用嵌入的？193

12.6词袋向量的局限194

12.7用单位向量求词嵌入之和195

12.8不改变任何东西的矩阵196

12.9学习转移矩阵197

12.10学习创建有用的句子向量198

12.11 Python下的前向传播199

12.12如何反向传播？200

12.13让我们训练它！201

12.14进行设置201

12.15 任意长度的前向传播202

12.16任意长度的反向传播203

12.17任意长度的权重更新204

12.18运行代码，并分析输出205

12.19本章小结207

第13章介绍自动优化：搭建深度学习框架209

13.1深度学习框架是什么？209

13.2张量介绍210

13.3自动梯度计算（autograd）介绍211

13.4快速检查213

13.5多次使用的张量214

13.6升级autograd以支持多次使用的张量215

13.7加法的反向传播如何工作？217

13.8增加取负值操作的支持218

13.9添加更多函数的支持219

13.10使用autograd 训练神经网络222

13.11增加自动优化224

13.12添加神经元层类型的支持225

13.13包含神经元层的神经元层226

13.14损失函数层227

13.15 如何学习一个框架228

13.16非线性层228

13.17嵌入层230

13.18将下标操作添加到autograd231

13.19再看嵌入层232

13.20交叉熵层233

13.21递归神经网络层235

13.22本章小结238

第14章像莎士比亚一样写作：长短期记忆网络239

14.1字符语言建模239

14.2截断式反向传播的必要性240

14.3截断式反向传播241

14.4输出样例244

14.5梯度消失与梯度激增245

14.6 RNN反向传播的小例子246

14.7长短期记忆（LSTM）元胞247

14.8关于LSTM门限的直观理解248

14.9长短期记忆层249

14.10升级字符语言模型250

14.11 训练LSTM字符语言模型251

14.12调优LSTM字符语言模型252

14.13本章小结253

第15章在看不见的数据上做深度学习：联邦学习导论255

15.1深度学习的隐私问题255

15.2联邦学习256

15.3学习检测垃圾邮件257

15.4让我们把它联邦化259

15.5深入联邦学习260

15.6安全聚合261

15.7同态加密262

15.8同态加密联邦学习263

15.9本章小结264

第16章往哪里去：简要指引265