3. 深度学习基础

从本章开始，我们将探索深度学习的奥秘。作为机器学习的一类，深度学习通常基于神经网络模型逐级表示越来越抽象的概念或模式。我们先从线性回归和 softmax 回归这两种单层神经网络入手，简要介绍机器学习中的基本概念。然后，我们由单层神经网络延伸到多层神经网络，并通过多层感知机引入深度学习模型。在观察和了解了模型的过拟合现象后，我们将介绍深度学习中应对过拟合的常用方法：权重衰减和丢弃法。接着，为了进一步理解深度学习模型训练的本质，我们将详细解释正向传播和反向传播。掌握这两个概念后，我们能更好地认识深度学习中的数值稳定性和初始化的一些问题。最后，我们通过一个深度学习应用案例对本章内容学以致用。

在本章的前几节，我们先介绍单层神经网络：线性回归和softmax回归。

• 3.1. 线性回归
• 3.2. 线性回归的从零开始实现
• 3.3. 线性回归的简洁实现
• 3.4. softmax回归
• 3.5. 图像分类数据集（Fashion-MNIST）
• 3.6. softmax回归的从零开始实现
• 3.7. softmax回归的简洁实现
• 3.8. 多层感知机
• 3.9. 多层感知机的从零开始实现
• 3.10. 多层感知机的简洁实现
• 3.11. 模型选择、欠拟合和过拟合
• 3.12. 权重衰减
• 3.13. 丢弃法
• 3.14. 正向传播、反向传播和计算图
• 3.15. 数值稳定性和模型初始化
• 3.16. 实战Kaggle比赛：房价预测