5. 卷积神经网络

本章将介绍卷积神经网络。它是近年来深度学习能在计算机视觉领域取得突破性成果的基石。它也逐渐在被其他诸如自然语言处理、推荐系统和语音识别等领域广泛使用。我们将先描述卷积神经网络中卷积层和池化层的工作原理，并解释填充、步幅、输入通道和输出通道的含义。在掌握了这些基础知识以后，我们将探究数个具有代表性的深度卷积神经网络的设计思路。这些模型包括最早提出的AlexNet，以及后来的使用重复元素的网络（VGG）、网络中的网络（NiN）、含并行连结的网络（GoogLeNet）、残差网络（ResNet）和稠密连接网络（DenseNet）。它们中有不少在过去几年的ImageNet比赛（一个著名的计算机视觉竞赛）中大放异彩。虽然深度模型看上去只是具有很多层的神经网络，然而获得有效的深度模型并不容易。有幸的是，本章阐述的批量归一化和残差网络为训练和设计深度模型提供了两类重要思路。

• 5.1. 二维卷积层
  • 5.1.1. 二维互相关运算
  • 5.1.2. 二维卷积层
  • 5.1.3. 图像中物体边缘检测
  • 5.1.4. 通过数据学习核数组
  • 5.1.5. 互相关运算和卷积运算
  • 5.1.6. 特征图和感受野
  • 5.1.7. 小结
  • 5.1.8. 练习
  • 5.1.9. 参与讨论
• 5.2. 填充和步幅
  • 5.2.1. 填充
  • 5.2.2. 步幅
  • 5.2.3. 小结
  • 5.2.4. 练习
  • 5.2.5. 参与讨论
• 5.3. 多输入通道和多输出通道
  • 5.3.1. 多输入通道
  • 5.3.2. 多输出通道
  • 5.3.3. 卷积层
  • 5.3.4. 小结
  • 5.3.5. 练习
  • 5.3.6. 参与讨论
• 5.4. 池化层
  • 5.4.1. 二维最大池化层和平均池化层
  • 5.4.2. 填充和步幅
  • 5.4.3. 多通道
  • 5.4.4. 小结
  • 5.4.5. 练习
  • 5.4.6. 参与讨论
• 5.5. 卷积神经网络（LeNet）
  • 5.5.1. LeNet模型
  • 5.5.2. 获取数据和训练模型
  • 5.5.3. 小结
  • 5.5.4. 练习
  • 5.5.5. 参考文献
  • 5.5.6. 参与讨论
• 5.6. 深度卷积神经网络（AlexNet）
  • 5.6.1. 学习特征表示
  • 5.6.2. AlexNet
  • 5.6.3. 读取数据
  • 5.6.4. 训练
  • 5.6.5. 小结
  • 5.6.6. 练习
  • 5.6.7. 参考文献
  • 5.6.8. 参与讨论
• 5.7. 使用重复元素的网络（VGG）
  • 5.7.1. VGG块
  • 5.7.2. VGG网络
  • 5.7.3. 获取数据和训练模型
  • 5.7.4. 小结
  • 5.7.5. 练习
  • 5.7.6. 参考文献
  • 5.7.7. 参与讨论
• 5.8. 网络中的网络（NiN）
  • 5.8.1. NiN块
  • 5.8.2. NiN模型
  • 5.8.3. 获取数据和训练模型
  • 5.8.4. 小结
  • 5.8.5. 练习
  • 5.8.6. 参考文献
  • 5.8.7. 参与讨论
• 5.9. 含并行连结的网络（GoogLeNet）
  • 5.9.1. Inception 块
  • 5.9.2. GoogLeNet模型
  • 5.9.3. 获取数据和训练模型
  • 5.9.4. 小结
  • 5.9.5. 练习
  • 5.9.6. 参考文献
  • 5.9.7. 参与讨论
• 5.10. 批量归一化
  • 5.10.1. 批量归一化层
  • 5.10.2. 从零开始实现
  • 5.10.3. 简洁实现
  • 5.10.4. 小结
  • 5.10.5. 练习
  • 5.10.6. 参考文献
  • 5.10.7. 参与讨论
• 5.11. 残差网络（ResNet）
  • 5.11.1. 残差块
  • 5.11.2. ResNet模型
  • 5.11.3. 获取数据和训练模型
  • 5.11.4. 小结
  • 5.11.5. 练习
  • 5.11.6. 参考文献
  • 5.11.7. 参与讨论
• 5.12. 稠密连接网络（DenseNet）
  • 5.12.1. 稠密块
  • 5.12.2. 过渡层
  • 5.12.3. DenseNet模型
  • 5.12.4. 获取数据并训练模型
  • 5.12.5. 小结
  • 5.12.6. 练习
  • 5.12.7. 参考文献
  • 5.12.8. 参与讨论