结语#

拆完了。每件装备的数据摆在眼前。

从引言:拆开看看 的方法论,到实验设计 的实验方案,再到PyTorch实现 的代码实现——你走完了"提出假设→设计实验→收集数据→分析结论"的完整闭环。


装备清单#

装备

不带它跌多少

重要性

作用

卷积层

12.6%

⭐⭐⭐ 必须带

冰镐——没有它根本爬不了

ReLU 激活

15.6%

⭐⭐⭐ 必须带

呼吸方式——高海拔还能保持效率

池化层

6.2%

⭐⭐ 尽量带

减轻负重——不牺牲太多精度

批归一化

+2.9%

⭐⭐ 尽量带

稳定步伐——加速收敛,允许更大学习率

Dropout

1.2%

⭐ 看情况

备用装备——数据少时有用

“Extraordinary claims require extraordinary evidence.” —— Carl Sagan

消融研究的本质不是"证明哪个组件好",而是用数据回答"为什么好"。上篇:练习峰 给了你搭建网络的菜单,PyTorch 实践:把理论变成代码 给了你实现代码的工具,本章给了你验证和优化设计的实验方法。三个原则:控制变量,数据说话,科学即迭代。


拆完了。然后呢?#

装备清单到手了——卷积层是冰镐,ReLU 是呼吸方式,Dropout 可带可不带。

但这份清单是在练习峰上测的。28×28 的灰度山。真正的山——ImageNet,224×224 彩色照片,1,000 个类别——比练习峰大 1,000 倍。在 MNIST 上"Dropout 影响不大"的结论,放到 ImageNet 上会不会刚好相反?

拆装备是为了理解。理解是为了去爬更高的山。

下篇:真正的未登峰——走。2012 年,炮声响了。


延伸#

想继续拆?

  • 对 ResNet / EfficientNet / ViT 做消融,验证练习峰上的结论在更大的架构上是否成立

  • 研究多因素交互效应——组件 A 和 B 同时移除的效果是否等于各自效果之和

  • 用 Optuna / NNI 做自动化消融,贝叶斯优化替代手动逐一实验

本章相关章节:卷积:发现装备(组件原理)、训练基础:登山纪律(正则化)、使用训练框架(实验管理)

经典消融研究:ResNet(残差连接)、Dropout(比例)、Network In Network(GAP vs FC)


贡献者与修订历史

查看详细修订记录
  • ea7e106 2026-06-16 - Heyan Zhu: fix: cross-ref syntax, formulas, code, and structure across 5 chapters
  • dc35df2 2026-06-14 - Heyan Zhu: refactor: unify into two-chapter mountain-climbing narrative