• 8. 计算性能

    8. 计算性能

    在深度学习中，数据集通常很大而且模型计算往往很复杂。因此，我们十分关注计算性能。本章将重点介绍影响计算性能的重要因子：命令式编程、符号式编程、异步计算、自动并行计算和多GPU计算。通过本章的学习，你将很可能进一步提升前几章已实现的模型的计算性能，例如，在不影响模型精度的前提下减少模型的训练时间。

    • 8.1. 命令式和符号式混合编程
      • 8.1.1. 混合式编程取两者之长
      • 8.1.2. 使用HybridSequential类构造模型
      • 8.1.3. 使用HybridBlock类构造模型
      • 8.1.4. 小结
      • 8.1.5. 练习
      • 8.1.6. 参与讨论
    • 8.2. 异步计算
      • 8.2.1. MXNet中的异步计算
      • 8.2.2. 用同步函数让前端等待计算结果
      • 8.2.3. 使用异步计算提升计算性能
      • 8.2.4. 异步计算对内存的影响
      • 8.2.5. 小结
      • 8.2.6. 练习
      • 8.2.7. 参与讨论
    • 8.3. 自动并行计算
      • 8.3.1. CPU和GPU的并行计算
      • 8.3.2. 计算和通信的并行计算
      • 8.3.3. 小结
      • 8.3.4. 练习
      • 8.3.5. 参与讨论
    • 8.4. 多GPU计算
      • 8.4.1. 数据并行
      • 8.4.2. 定义模型
      • 8.4.3. 多GPU之间同步数据
      • 8.4.4. 单个小批量上的多GPU训练
      • 8.4.5. 定义训练函数
      • 8.4.6. 多GPU训练实验
      • 8.4.7. 小结
      • 8.4.8. 练习
      • 8.4.9. 参与讨论
    • 8.5. 多GPU计算的简洁实现
      • 8.5.1. 多GPU上初始化模型参数
      • 8.5.2. 多GPU训练模型
      • 8.5.3. 小结
      • 8.5.4. 练习
      • 8.5.5. 参与讨论