# 总结与展望

## 本章核心回顾

本章我们建立了深度学习的数学基础，形成了完整的训练流程：

1. **{ref}`computational-graph`：描述"数据如何流动"**

    - **直觉**：像工厂流水线，数据从输入到输出的处理流程
    - **作用**：让复杂计算可视化，为{ref}`back-propagation`提供结构

2. **{ref}`task-formulations`：定义"找什么规律"**

    - **直觉**：分类找边界、回归找映射、自回归找序列依赖
    - **作用**：不同任务类型对应不同的输出形式和损失函数

3. **{ref}`activation-functions`：引入非线性表达能力**

    - **直觉**：在特征空间中划分决策边界，将线性不可分数据"折叠"成可分
    - **关键**：ReLU是隐藏层默认选择，解决梯度消失问题

4. **{ref}`loss-functions`：定义"什么是好的预测"**

    - **直觉**：衡量预测与真实的差距，塑造{ref}`gradient-descent`的优化地形
    - **关键**：交叉熵为分类提供强梯度，MSE适合回归

5. **{ref}`back-propagation`："信用分配"机制**

    - **直觉**：项目失败后倒推责任，按贡献度分配
    - **核心**：链式法则让梯度在{ref}`computational-graph`中高效回传

6. **{ref}`gradient-descent`：在Loss Landscape中下山**

    - **直觉**：沿着{ref}`back-propagation`计算的最陡方向一步步接近山谷底部
    - **要点**：学习率是关键，Adam是默认首选

## 训练流程全景

本章各节内容的关联：

```{mermaid}
graph LR
    A[数据] --> B[计算图前向传播]
    B --> C[确定任务类型]
    C --> D[经过激活函数]
    D --> E[损失函数计算误差]
    E --> F[反向传播计算梯度]
    F --> G[梯度下降更新参数]
    G --> B
```

**这就是深度学习训练的核心循环**：

1. 数据流入计算图，根据任务类型（分类/回归/自回归）得到预测
2. 损失函数评估预测好坏
3. 反向传播计算每个参数的梯度
4. 梯度下降调整参数，让损失减小
5. 重复直到收敛

## 关键要点速查

| 概念 | 核心直觉 | 实践建议 |
|------|----------|----------|
| 计算图 | 数据流水线 | PyTorch自动构建，可可视化调试 |
| 任务形式 | 分类找边界、回归找映射、自回归找依赖 | 先确定任务类型，再选损失函数和输出层 |
| 激活函数 | 在空间中划分决策边界 | 隐藏层用ReLU，输出层按任务选 |
| 损失函数 | 塑造优化地形 | 分类用交叉熵，回归用MSE/MAE |
| 反向传播 | 信用分配 | 框架自动完成，理解即可 |
| 梯度下降 | 下山策略 | 默认Adam，大模型用Warmup+Cosine |
| 学习率 | 步长大小 | 最关键超参，常用0.001-0.1 |

## 常见问题速答

**Q: 为什么需要激活函数？**  
A: 没有激活函数，多层网络等价于单层线性变换，无法学习复杂模式。

**Q: 反向传播和梯度下降的关系？**  
A: 反向传播**计算**梯度，梯度下降**使用**梯度更新参数。两者配合完成训练。

**Q: 损失函数和优化算法的关系？**  
A: 损失函数定义"去哪里"（目标），优化算法决定"怎么去"（路径）。

**Q: 局部最优真的是大问题吗？**  
A: 在高维深度网络中，鞍点比局部最优更常见。随机梯度的噪声通常能帮助逃离。

## 通往下一章

本章的数学基础将在 {doc}`../neural-network-basics/index` 中付诸实践：

- **感知机与MLP**：用计算图搭建实际网络
- **卷积神经网络**：处理图像的空间特征
- **循环神经网络**：处理序列的时间特征
- **训练技巧**：批归一化、Dropout、早停等

```{admonition} 准备好了吗？
:class: tip

现在你已经理解了深度学习"为什么能工作"。下一章我们将学习"如何让它工作得更好"——从理论走向实践，搭建和训练真实的神经网络。

记住：**数学只是工具，直觉才是向导，实践是检验真理的唯一标准。**
```

## 推荐资源

### 英文资源

**快速复习**：
- [3Blue1Brown神经网络系列](https://www.youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi)（直观可视化）

**深入理解**：
- 《深度学习》（Goodfellow）第4-6章
- [CS231n斯坦福课程](https://cs231n.stanford.edu/)（李飞飞等，计算机视觉+深度学习）

**动手实践**：
- [PyTorch 60分钟入门](https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html)（官方教程）
- [fast.ai课程](https://course.fast.ai/)（实用导向，Top-down教学）

### 中文资源

**视频课程**：
- [李宏毅机器学习](https://www.youtube.com/@HungyiLeeNTU)（台大教授，中文讲解清晰，B站/YouTube）

**文档教程**：
- [PyTorch官方中文文档](https://pytorch.org/docs/stable/index.html)（含中文教程）
- [PyTorch深度学习实践](https://github.com/fendouai/PyTorchDocs)（中文教程合集）

---

**本章完。下一步：{doc}`../neural-network-basics/index`**