《深入浅出PyTorch 从模型到源码》求取 ⇩

第1章深度学习概念简介1

1.1深度学习的历史1

1.1.1深度学习的发展过程1

1.1.2深度学习在计算机视觉领域的发展2

1.1.3深度学习在自然语言处理和其他领域的发展5

1.2机器学习基本概念7

1.2.1机器学习的主要任务7

1.2.2机器模型的类型8

1.2.3损失函数以及模型的拟合10

1.3深度学习基本概念13

1.3.1向量、矩阵和张量及其运算14

1.3.2张量的存储18

1.3.3神经元的概念18

1.4输入数据的表示方式19

1.4.1图像数据的表示方式19

1.4.2文本数据的表示方式21

1.4.3音频数据的表示方式22

1.5线性变换和激活函数25

1.5.1全连接线性变换25

1.5.2卷积线性变换27

1.5.3激活函数28

1.6链式求导法则和反向传播31

1.6.1基于链式求导的梯度计算31

1.6.2激活函数的导数33

1.6.3数值梯度35

1.7损失函数和优化器36

1.7.1常用的损失函数36

1.7.2基于梯度的优化器37

1.7.3学习率衰减和权重衰减41

1.8本章总结42

第2章PyTorch深度学习框架简介43

2.1深度学习框架简介43

2.1.1深度学习框架中的张量43

2.1.2深度学习框架中的计算图44

2.1.3深度学习框架中的自动求导和反向传播45

2.2PyTorch框架历史和特性更迭46

2.3 PyTorch的安装过程48

2.4PyTorch包的结构51

2.4.1 PyTorch的主要模块51

2.4.2 PyTorch的辅助工具模块56

2.5PyTorch中张量的创建和维度的操作58

2.5.1张量的数据类型58

2.5.2张量的创建方式60

2.5.3张量的存储设备64

2.5.4和张量维度相关的方法65

2.5.5张量的索引和切片68

2.6PyTorch中张量的运算69

2.6.1涉及单个张量的函数运算69

2.6.2涉及多个张量的函数运算71

2.6.3张量的极值和排序72

2.6.4矩阵的乘法和张量的缩并74

2.6.5张量的拼接和分割76

2.6.6张量维度的扩增和压缩78

2.6.7张量的广播79

2.7PyTorch中的模块简介80

2.7.1模块类80

2.7.2基于模块类的简单线性回归类81

2.7.3线性回归类的实例化和方法调用83

2.8PyTorch的计算图和自动求导机制85

2.8.1自动求导机制简介85

2.8.2自动求导机制实例86

2.8.3梯度函数的使用87

2.8.4计算图构建的启用和禁用88

2.9PyTorch的损失函数和优化器89

2.9.1损失函数89

2.9.2优化器91

2.10 PyTorch中数据的输入和预处理94

2.10.1数据载入类94

2.10.2映射类型的数据集95

2.10.3torchvision工具包的使用96

2.10.4可迭代类型的数据集99

2.11 PyTorch模型的保存和加载100

2.11.1模块和张量的序列化及反序列化100

2.11.2模块状态字典的保存和载入102

2.12 PyTorch数据的可视化103

2.12.1TensorBoard的安装和使用104

2.12.2 TensorBoard的常用可视化数据类型107

2.13 PyTorch模型的并行化109

2.13.1数据并行化110

2.13.2分布式数据并行化111

2.14本章总结115

第3章PyTorch计算机视觉模块118

3.1计算机视觉基本概念118

3.1.1计算机视觉任务简介118

3.1.2基础图像变换操作119

3.1.3图像特征提取122

3.1.4滤波器的概念124

3.2线性层125

3.3卷积层127

3.4归一化层136

3.5池化层143

3.6丢弃层148

3.7模块的组合150

3.8特征提取152

3.9模型初始化156

3.10常见模型结构159

3.10.1InceptionNet的结构159

3.10.2 ResNet的结构163

3.11本章总结166

第4章PyTorch机器视觉案例168

4.1常见计算机视觉任务和数据集168

4.1.1图像分类任务简介168

4.1.2目标检测任务简介169

4.1.3图像分割任务简介170

4.1.4图像生成任务简介171

4.1.5常用深度学习公开数据集172

4.2手写数字识别：LeNet174

4.2.1深度学习工程的结构174

4.2.2MNIST数据集的准备176

4.2.3 LeNet网络的搭建178

4.2.4 LeNet网络的训练和测试181

4.2.5超参数的修改和argparse库的使用184

4.3图像分类：ResNet和InceptionNet186

4.3.1ImageNet数据集的使用186

4.3.2 ResNet网络的搭建188

4.3.3 InceptionNet网络的搭建192

4.4目标检测：SSD203

4.4.1SSD的骨架网络结构203

4.4.2 SSD的特征提取网络结构204

4.4.3锚点框和选框预测209

4.4.4输入数据的预处理213

4.4.5损失函数的计算215

4.4.6模型的预测和非极大抑制算法217

4.5图像分割：FCN和U-Net218

4.5.1FCN网络结构219

4.5.2 U-Net网络结构223

4.6图像风格迁移227

4.6.1图像风格迁移算法介绍228

4.6.2输入图像的特征提取230

4.6.3输入图像的优化233

4.7生成模型：VAE和GAN235

4.7.1变分自编码器介绍236

4.7.2变分自编码器的实现238

4.7.3生成对抗网络介绍241

4.7.4生成对抗网络的实现242

4.8本章总结247

第5章PyTorch自然语言处理模块249

5.1自然语言处理基本概念249

5.1.1机器翻译相关的自然语言处理研究249

5.1.2其他领域的自然语言处理研究251

5.1.3自然语言处理中特征提取的预处理252

5.1.4自然语言处理中词频特征的计算方法254

5.1.5自然语言处理中TF-IDF特征的计算方法256

5.2词嵌入层259

5.3循环神经网络层：GRU和LSTM265

5.3.1简单循环神经网络265

5.3.2长短时记忆网络（LSTM）267

5.3.3门控循环单元（GRU）269

5.4注意力机制278

5.5自注意力机制282

5.5.1循环神经网络的问题282

5.5.2自注意力机制的基础结构283

5.5.3使用自注意力机制构建Seq2Seq模型286

5.5.4PyTorch中自注意力机制的模块288

5.5.5 Pytorch中的Transformer模块290

5.6本章总结291

第6章PyTorch自然语言处理案例293

6.1word2vec算法训练词向量293

6.1.1单词表的创建293

6.1.2 word2vec算法的实现297

6.1.3 word2vec算法的特性299

6.2基于循环神经网络的情感分析300

6.3基于循环神经网络的语言模型303

6.3.1语言模型简介303

6.3.2语言模型的代码306

6.4Seq2Seq模型及其应用309

6.4.1 Seq2Seq模型的结构309

6.4.2 Seq2Seq模型编码器的代码310

6.4.3 Seq2Seq模型注意力机制的代码313

6.4.4 Seq2Seq模型解码器的代码315

6.5BERT模型及其应用319

6.5.1 BERT模型的结构319

6.5.2 BERT模型的训练方法323

6.5.3 BERT模型的微调325

6.6本章总结326

第7章其他重要模型328

7.1基于宽深模型的推荐系统328

7.1.1推荐系统介绍328

7.1.2宽深模型介绍329

7.2DeepSpeech模型和CTC损失函数333

7.2.1语音识别模型介绍333

7.2.2 CTC损失函数335

7.3使用Tacotron和WaveNet进行语音合成340

7.3.1Tacotron模型中基于Seq2Seq的梅尔过滤器特征合成341

7.3.2 Tacotron模型的代码342

7.3.3 WaveNet模型介绍350

7.3.4因果卷积模块介绍353

7.3.5因果卷积模块的代码354

7.3.6 WaveNet模型的代码356

7.4基于DQN的强化学习算法358

7.4.1强化学习的基础概念358

7.4.2强化学习的环境359

7.4.3DQN模型的原理361

7.4.4 DQN模型及其训练过程362

7.5使用半精度浮点数训练模型366

7.5.1半精度浮点数的介绍367

7.5.2半精度模型的训练368

7.5.3apex扩展包的使用369

7.6本章总结371

第8章PyTorch高级应用372

8.1 PyTorch自定义激活函数和梯度372

8.2在PyTorch中编写扩展374

8.3正向传播和反向传播的钩子381

8.4 PyTorch的静态计算图385

8.5静态计算图模型的保存和使用390

8.6本章总结393

第9章PyTorch源代码解析394

9.1 ATen张量计算库简介394

9.2C++的Python接口397

9.3 csrc模块简介401

9.4 autograd和自动求导机制405

9.5 C10张量计算库简介406

9.6本章总结408

参考资料409