(cnn-ablation-end)=
# 结语：从黑盒到白盒

恭喜！你已经完成了 CNN 消融研究章节的学习。

从{doc}`introduction`中的科学方法论，到{doc}`experiment-design`中的实验方案，再到{doc}`implementation`中的代码实现——你掌握了**用控制变量法量化神经网络组件贡献的完整方法**。

---

## 本章学习路径回顾

```{mermaid}
graph LR
    A[消融研究思想<br/>科学方法论] --> B[实验设计<br/>基线+消融方案]
    B --> C[代码实现<br/>模型变体]
    C --> D[框架运行<br/>自动实验管理]
    D --> E[结果分析<br/>组件重要性排序]
    E --> F[设计原则<br/>指导新架构]
```

每个环节都对应着前面章节的理论基础——从{doc}`../neural-network-basics/cnn-basics`中的卷积层原理，到{doc}`../neural-network-basics/neural-training-basics`中的正则化技术，再到{doc}`../pytorch-practice/using-framework`中的工程化工具。

---

## 核心知识点总结

### CNN 组件贡献量化

| 组件 | 移除后准确率下降 | 重要性等级 | 核心作用 |
|------|----------------|-----------|---------|
| 卷积层 | 12.6% | ⭐⭐⭐ 核心 | 特征提取 |
| ReLU 激活 | 15.6% | ⭐⭐⭐ 核心 | 引入非线性 |
| 池化层 | 6.2% | ⭐⭐ 重要 | 降维 + 平移不变性 |
| 批归一化 | 2.9% | ⭐⭐ 重要 | 加速收敛 |
| Dropout | 1.2% | ⭐ 辅助 | 防止过拟合 |

### 工程技能清单

完成本章后，你应该能够：

- ✅ 理解消融研究的核心思想——控制变量法
- ✅ 设计基线模型 + 消融变体的实验方案
- ✅ 继承 `nn.Module` 实现不同的模型变体
- ✅ 使用社团框架注册模型并运行对比实验
- ✅ 通过 YAML 配置文件管理实验参数
- ✅ 解读训练曲线，诊断过拟合/欠拟合
- ✅ 从实验数据归纳组件重要性排序
- ✅ 将消融研究的思维应用到其他领域

---

## 推荐学习资源

### 动手项目（从简单到难）

| 项目名称 | 难度 | 练习重点 | 参考章节 |
|----------|------|----------|----------|
| **CIFAR-10 消融研究** | ⭐⭐ 基础 | 复现本章实验，验证数据 | 本章完整内容 |
| **自定义架构消融** | ⭐⭐⭐ 进阶 | 对 ResNet / ViT 做消融研究 | {doc}`../neural-network-basics/cnn-basics` |
| **超参数消融** | ⭐⭐⭐ 进阶 | 研究学习率 / batch size 的影响 | {doc}`../neural-network-basics/neural-training-basics` |
| **数据增强消融** | ⭐⭐⭐ 进阶 | 量化不同增强策略的贡献 | {doc}`../pytorch-practice/train-workflow` |
| **迁移学习消融** | ⭐⭐⭐⭐ 困难 | 研究不同冻结策略的效果 | {doc}`../transfer-learning/index` |

### 工具与平台

- **社团框架 `mnist-helloworld`**：`runs/expN/` 自动管理实验，适合系统消融
- **Weights & Biases (wandb)**：云端实验追踪，支持更复杂的对比分析
- **TensorBoard**：PyTorch 原生支持的训练可视化工具（{doc}`../pytorch-practice/debug-and-visualise`）
- **Papers With Code**：查看经典论文的消融实验数据

---

## 下一步学习建议

根据你的兴趣，可以选择不同方向深入：

- **方向一：更系统的实验设计**
  本章的消融实验仅覆盖了 7 个组件。真正的科研需要更全面的消融：
  - 多因素交互效应：组件 A 和 B 同时移除的效果是否等于各自效果之和？
  - 跨数据集验证：CIFAR-10 上的结论迁移到 ImageNet 是否成立？
  - 统计显著性：多次重复实验取均值和标准差

- **方向二：更复杂的架构**
  对现代 CNN 架构做消融研究：
  - ResNet：残差连接 vs 恒等映射 vs 投影 shortcut
  - EfficientNet：深度 / 宽度 / 分辨率三个维度的缩放因子
  - Vision Transformer：patch size / 注意力头数 / MLP 比例

- **方向三：跨领域应用**
  将消融研究的思维应用到：
  - NLP：Transformer 中 attention 头的重要性排序
  - 强化学习：不同策略网络组件的贡献
  - 生成模型：GAN 中生成器 vs 判别器的架构选择

- **方向四：自动化消融**
  使用 Optuna / NNI 等工具自动搜索最佳组件组合：
  - 贝叶斯优化替代手动逐一实验
  - 多目标优化：同时最大化准确率、最小化参数量

---

## 学习建议

**建议的实验节奏**：
- **每天 1-2 个消融实验**：先跑基线，再跑消融变体
- **每次只改一个组件**：否则结果无法归因
- **每 3-5 个实验做一次总结**：更新组件重要性表格

### 常见误区

| ❌ 误区 | ✅ 正确做法 |
|---------|------------|
| 同时改多个组件 | 一次只改一个，确保结果可归因 |
| 只看最终准确率 | 同时关注损失曲线、收敛速度、参数量 |
| 不设随机种子 | 固定 seed，保证实验可复现 |
| 实验不记录 | 用框架自动保存配置和结果 |
| 训练不充分 | 确保每个模型训练到收敛 |
| 测试集重复使用 | 测试集只能评估一次 |

---

## 结语

> "Extraordinary claims require extraordinary evidence."
> —— Carl Sagan

消融研究的本质不是"证明某个组件好"，而是**用数据回答"为什么好"**。这种科学思维比任何具体的实验结论都更重要——你可以在任何时候、任何任务上，用这套方法找到自己的答案。

{doc}`../neural-network-basics/index`给了你搭建网络的菜单，{doc}`../pytorch-practice/index`给了你实现代码的工具，而本章给了你**验证和优化设计的实验方法**。

三个核心理念：

1. **控制变量**——一次只改一个，才能知道改了谁
2. **数据说话**——直觉不可靠，看实验结果
3. **科学即迭代**——提出假设 → 设计实验 → 分析结论 → 改进假设

---

## 参考资源汇总

**本章相关理论**：
- {doc}`../neural-network-basics/cnn-basics`：CNN 各组件原理
- {doc}`../neural-network-basics/neural-training-basics`：正则化与训练技巧
- {doc}`../pytorch-practice/neural-network-module`：用 nn.Module 搭建网络
- {doc}`../pytorch-practice/using-framework`：使用框架管理实验

**工具与框架**：
- 社团框架 `mnist-helloworld`：消融实验的训练引擎
- PyTorch 官方文档：网络层 API 参考
- Matplotlib 文档：自定义训练曲线绘制

**经典论文中的消融研究**：
- [ResNet: Deep Residual Learning for Image Recognition](https://arxiv.org/abs/1512.03385) — 残差连接的消融
- [Dropout: A Simple Way to Prevent Neural Networks from Overfitting](https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf) — Dropout 比例的消融
- [Network In Network](https://arxiv.org/abs/1312.4400) — 全局平均池化 vs 全连接的消融

---

**祝贺你完成了 CNN 消融研究章节！** 🎉

你已经从一个"跟着教程搭网络"的学习者，成长为一个"用实验验证设计"的研究者。这种科学思维将伴随你在深度学习的道路上走得更远。

```{bibliography}
:filter: docname in docnames
```