架构心法:从会用装备到会设计装备#

冰镐、绳索、补给站、放大镜——爬完两座山,你的装备包已经满了。LeNet 的卷积-池化-全连接、Inception 的多尺度、ResNet 的跳跃连接——每个设计都解决了一个具体问题。

但下次面对一座全新的山,你该怎么选装备? 架构心法就是把经验升维为原则:感受野、深度连接、注意力、效率——四个维度,四个旋钮。

本章以登山者笔记收尾——不是干巴巴的总结,而是回望三十年攀登史,把四件装备、演化脉络、规模规律缝成一张可以带走的地图。

本章范围

聚焦于 CNN(卷积神经网络) 的架构设计。序列处理和生成模型的架构设计不在讨论范围内——详见 序列建模:从 RNN 到 Transformer 再到 Mamba。

本章概览

章节

内容

核心问题

诊断入门:信息论听诊器

改造的本质与信息论诊断工具

瓶颈在哪——容量还是信息流?

操控感受野:网络应该看多大

操控感受野:多尺度、空洞卷积

网络能看到多大范围?

操控深度与连接:信息如何在网络中流动

操控深度与连接:跳跃连接、特征融合

梯度能传回去吗?

操控注意力与长程依赖:信息该走哪条路

操控注意力与长程依赖

网络知道看哪吗?远近能关联上吗?

操控效率:效果、速度与硬件的三角权衡

操控效率:参数、计算、控制流、硬件四维优化

同样的准确率,为什么一个模型比另一个慢10倍?

诊断与心法:当模型表现不佳时

诊断与心法:反直觉案例与设计决策

我的模型出了什么问题?

登山者笔记:四件装备,三十年

🏁 登山者笔记

回望三十年——四件装备 + 演化史 + 下一座山

学习路径

本章将前面的具体技术升维为方法论:

        graph LR
    A[⛰️ 下篇:未登峰<br/>八年八件装备] --> B[🔬 架构心法<br/>四维度提炼]
    B --> C[🏁 登山者笔记<br/>三十年回望]

    style A fill:#FF6F00,color:#fff
    style C fill:#1565C0,color:#fff
    

核心认知:好的架构设计不是"堆砌新技术",而是理解每个设计选择解决了哪个维度的什么问题。

前置知识

前置章节

本章如何延伸

卷积:发现装备

感受野的操控策略

ResNet:高原反应补给站

跳跃连接的通用原理

Inception:多尺度工具

多尺度设计的多种实现

SE-Net:学会聚焦

注意力作为一种信息路由机制

CBAM:哪里重要 + 什么重要

空间注意力与通道注意力的组合逻辑

贡献者与修订历史

查看详细修订记录
  • dc35df2 2026-06-14 - Heyan Zhu: refactor: unify into two-chapter mountain-climbing narrative