《TensorFlow深度学习 数学原理与Python实战进阶》

第1章数学基础1

1.1线性代数2

1.1.1向量2

1.1.2标量2

1.1.3矩阵3

1.1.4张量3

1.1.5矩阵的运算和操作4

1.1.6向量的线性独立6

1.1.7矩阵的秩8

1.1.8单位矩阵或恒等运算符8

1.1.9矩阵的行列式9

1.1.10逆矩阵10

1.1.11向量的范数（模）11

1.1.12伪逆矩阵12

1.1.13以特定向量为方向的单位向量12

1.1.14一个向量在另一个向量方向上的投影（或射影）12

1.1.15特征向量12

1.2微积分17

1.2.1微分17

1.2.2函数的梯度17

1.2.3连续偏导数18

1.2.4海森矩阵18

1.2.5函数的极大值和极小值18

1.2.6局部极小值和全局最小值20

1.2.7半正定以及正定矩阵21

1.2.8凸集21

1.2.9凸函数22

1.2.10非凸函数22

1.2.11多变量凸函数以及非凸函数范例23

1.2.12泰勒级数24

1.3概率24

1.3.1并集、交集和条件概率25

1.3.2事件交集概率的链式法则26

1.3.3互斥事件26

1.3.4事件独立性27

1.3.5事件条件独立性27

1.3.6贝叶斯定理（公式）27

1.3.7概率质量函数28

1.3.8概率密度函数28

1.3.9随机变量的数学期望28

1.3.10随机变量的方差28

1.3.11偏度和峰度29

1.3.12协方差30

1.3.13相关性系数31

1.3.14一些常见的概率分布31

1.3.15似然函数34

1.3.16最大似然估计35

1.3.17假设检验和p值36

1.4机器学习算法的制定与优化算法38

1.4.1监督学习38

1.4.2无监督学习45

1.4.3机器学习的优化算法45

1.4.4约束优化问题53

1.5机器学习中的几个重要主题54

1.5.1降维方法54

1.5.2正则化58

1.5.3约束优化问题中的正则化59

1.6总结60

第2章深度学习概念和TensorFlow介绍61

2.1深度学习及其发展61

2.2感知机和感知机学习算法63

2.2.1感知机学习的几何解释65

2.2.2感知机学习的局限性66

2.2.3非线性需求68

2.2.4隐藏层感知机的非线性激活函数69

2.2.5神经元或感知机的不同激活函数70

2.2.6多层感知机网络的学习规则74

2.2.7梯度计算的反向传播75

2.2.8反向传播方法推广到梯度计算76

2.3TensorFlow82

2.3.1常见的深度学习包82

2.3.2 TensorFlow的安装83

2.3.3 TensorFlow的开发基础83

2.3.4深度学习视角下的梯度下降优化方法86

2.3.5随机梯度下降的小批量方法中的学习率90

2.3.6 TensorFlow中的优化器90

2.3.7 TensorFlow实现XOR 96

2.3.8 TensorFlow中的线性回归100

2.3.9使用全批量梯度下降的SoftMax函数多分类103

2.3.10使用随机梯度下降的SoftMax函数多分类105

2.4 GPU107

2.5总结108

第3章卷积神经网络109

3.1卷积操作109

3.1.1线性时不变和线性移不变系统109

3.1.2一维信号的卷积111

3.2模拟信号和数字信号112

3.2.1二维和三维信号113

3.3二维卷积114

3.3.1二维单位阶跃函数114

3.3.2ISI系统中单位阶跃响应信号的二维卷积115

3.3.3不同的LSI系统中图像的二维卷积117

3.4常见的图像处理滤波器120

3.4.1均值滤波器120

3.4.2中值滤波器122

3.4.3高斯滤波器122

3.4.4梯度滤波器123

3.4.5Sobel边缘检测滤波器125

3.4.6恒等变换127

3.5卷积神经网络128

3.6卷积神经网络的组成部分128

3.6.1输入层129

3.6.2卷积层129

3.6.3池化层131

3.7卷积层中的反向传播131

3.8池化层中的反向传播134

3.9卷积中的权值共享及其优点136

3.10平移同变性136

3.11池化的平移不变性137

3.12丢弃层和正则化138

3.13MNIST数据集上进行手写数字识别的卷积神经网络140

3.14用来解决现实问题的卷积神经网络144

3.15批规范化151

3.16卷积神经网络中的几种不同的网络结构153

3.16.1LeNet153

3.16.2 AlexNet154

3.16.3 VGG16155

3.16.4 ResNet156

3.17迁移学习157

3.17.1迁移学习的使用指导158

3.17.2使用谷歌InceptionV3网络进行迁移学习159

3.17.3使用预训练的VGG16网络迁移学习162

3.18总结166

第4章基于循环神经网络的自然语言处理167

4.1向量空间模型167

4.2单词的向量表示170

4.3Word2Vec170

4.3.1 CBOW171

4.3.2 CBOW在TensorFlow中的实现173

4.3.3词向量嵌入的Skip-gram模型176

4.3.4 Skip-gram在TensorFlow中的实现178

4.3.5基于全局共现方法的词向量181

4.3.6 GloVe186

4.3.7词向量类比法188

4.4循环神经网络的介绍191

4.4.1语言建模193

4.4.2用循环神经网络与传统方法预测句子中的下一个词的对比193

4.4.3基于时间的反向传播194

4.4.4循环神经网络中的梯度消失与爆炸问题196

4.4.5循环神经网络中的梯度消失与爆炸问题的解决方法198

4.4.6LSTM199

4.4.7 LSTM在减少梯度爆炸和梯度消失问题中的应用200

4.4.8在TensorFlow中使用循环神经网络进行MNIST数字识别201

4.4.9门控循环单元210

4.4.10双向循环神经网络211

4.5总结212

第5章用受限玻尔兹曼机和自编码器进行无监督学习214

5.1玻尔兹曼分布214

5.2贝叶斯推断：似然、先验和后验概率分布215

5.3MCMC采样方法219

5.3.1 Metropolis算法222

5.4受限玻尔兹曼机226

5.4.1训练受限玻尔兹曼机229

5.4.2吉布斯采样233

5.4.3块吉布斯采样234

5.4.4Burn-in阶段和吉布斯采样中的样本生成235

5.4.5基于吉布斯采样的受限玻尔兹曼机235

5.4.6对比散度236

5.4.7受限玻尔兹曼机的TensorFlow实现237

5.4.8基于受限玻尔兹曼机的协同过滤239

5.4.9深度置信网络244

5.5自编码器248

5.5.1基于自编码器的监督式特征学习250

5.5.2KL散度251

5.5.3稀疏自编码器251

5.5.4稀疏自编码器的TensorFlow实现253

5.5.5去噪自编码器255

5.5.6去噪自编码器的TensorFlow实现256

5.6 PCA和ZCA白化262

5.7总结264

第6章高级神经网络265

6.1图像分割265

6.1.1基于像素强度直方图的二元阈值分割方法265

6.1.2大津法266

6.1.3用于图像分割的分水岭算法268

6.1.4使用K-means聚类进行图像分割272

6.1.5语义分割274

6.1.6滑动窗口方法274

6.1.7全卷积网络275

6.1.8全卷积网络的下采样和上采样277

6.1.9U-Net281

6.1.10在TensorFlow中使用全卷积神经网络进行语义分割283

6.2图像分类和定位网络290

6.3物体检测292

6.3.1R-CNN293

6.3.2 Fast和Faster R-CNN294

6.4生成式对抗网络295

6.4.1极大极小和极小极大问题295

6.4.2零和博弈297

6.4.3极小极大和鞍点298

6.4.4生成式对抗网络的损失函数和训练300

6.4.5生成器的梯度消弭302

6.4.6生成式对抗网络的TensorFlow实现302

6.5生成环境下的TensorFlow模型应用305

6.6总结308