总结与展望#
本章核心回顾#
本章我们建立了深度学习的数学基础，形成了完整的训练流程：
计算图：描述"数据如何流动"
直觉：像工厂流水线，数据从输入到输出的处理流程
作用：让复杂计算可视化，为反向传播算法提供结构
学习任务的形式：定义"找什么规律"
直觉：分类找边界、回归找映射、自回归找序列依赖
作用：不同任务类型对应不同的输出形式和损失函数
激活函数：引入非线性表达能力
直觉：在特征空间中划分决策边界，将线性不可分数据"折叠"成可分
关键：ReLU是隐藏层默认选择，解决梯度消失问题
损失函数：定义"什么是好的预测"
直觉：衡量预测与真实的差距，塑造梯度下降与优化算法的优化地形
关键：交叉熵为分类提供强梯度，MSE适合回归
反向传播算法："信用分配"机制
直觉：项目失败后倒推责任，按贡献度分配
核心：链式法则让梯度在计算图中高效回传
梯度下降与优化算法：在Loss Landscape中下山
直觉：沿着反向传播算法计算的最陡方向一步步接近山谷底部
要点：学习率是关键，Adam是默认首选
训练流程全景#
本章各节内容的关联：
这就是深度学习训练的核心循环：
数据流入计算图，根据任务类型（分类/回归/自回归）得到预测
损失函数评估预测好坏
反向传播计算每个参数的梯度
梯度下降调整参数，让损失减小
重复直到收敛
关键要点速查#
概念 |
核心直觉 |
实践建议 |
|---|---|---|
计算图 |
数据流水线 |
PyTorch自动构建，可可视化调试 |
任务形式 |
分类找边界、回归找映射、自回归找依赖 |
先确定任务类型，再选损失函数和输出层 |
激活函数 |
在空间中划分决策边界 |
隐藏层用ReLU，输出层按任务选 |
损失函数 |
塑造优化地形 |
分类用交叉熵，回归用MSE/MAE |
反向传播 |
信用分配 |
框架自动完成，理解即可 |
梯度下降 |
下山策略 |
默认Adam，大模型用Warmup+Cosine |
学习率 |
步长大小 |
最关键超参，常用0.001-0.1 |
常见问题速答#
Q: 为什么需要激活函数？
A: 没有激活函数，多层网络等价于单层线性变换，无法学习复杂模式。
Q: 反向传播和梯度下降的关系？
A: 反向传播计算梯度，梯度下降使用梯度更新参数。两者配合完成训练。
Q: 损失函数和优化算法的关系？
A: 损失函数定义"去哪里"（目标），优化算法决定"怎么去"（路径）。
Q: 局部最优真的是大问题吗？
A: 在高维深度网络中，鞍点比局部最优更常见。随机梯度的噪声通常能帮助逃离。
通往下一章#
本章的数学基础将在 神经网络基础：从理论到架构 中付诸实践：
感知机与MLP：用计算图搭建实际网络
卷积神经网络：处理图像的空间特征
循环神经网络：处理序列的时间特征
训练技巧：批归一化、Dropout、早停等
准备好了吗？
现在你已经理解了深度学习"为什么能工作"。下一章我们将学习"如何让它工作得更好"——从理论走向实践，搭建和训练真实的神经网络。
记住：数学只是工具，直觉才是向导，实践是检验真理的唯一标准。
推荐资源#
英文资源#
快速复习：
3Blue1Brown神经网络系列（直观可视化）
深入理解：
《深度学习》（Goodfellow）第4-6章
CS231n斯坦福课程（李飞飞等，计算机视觉+深度学习）
动手实践：
PyTorch 60分钟入门（官方教程）
fast.ai课程（实用导向，Top-down教学）
中文资源#
视频课程：
李宏毅机器学习（台大教授，中文讲解清晰，B站/YouTube）
文档教程：
PyTorch官方中文文档（含中文教程）
PyTorch深度学习实践（中文教程合集）
本章完。下一步：神经网络基础：从理论到架构
贡献者与修订历史
查看详细修订记录
-
59126f42026-04-26 - Heyan Zhu: docs(math-fundamentals): update content structure and add citations -
ae2053f2026-04-26 - Heyan Zhu: docs(math-fundamentals): add task-formulations and update related content -
756a7932026-04-25 - Heyan Zhu: docs(math-fundamentals): update content structure and improve explanations -
0c291d72025-12-10 - Heyan Zhu: docs: restructure course materials and add new content