引言：从空间到时间#

到目前为止，我们一直在处理图像——卷积：发现装备 中的卷积核在二维像素格上滑动，下篇：真正的未登峰 中的注意力模块在通道和空间维度上重加权。这些架构共享一个隐含假设：输入是静态的、定长的、没有先后顺序的。

但现实中的很多数据不是这样。一段文字、一首歌、一段视频——它们都有时间顺序。单词的排列决定语义，音节的先后决定旋律，帧的连续决定动作。

本章要回答的核心问题是：如何让神经网络理解"顺序"？

从受到大脑启发的循环神经网络（RNN），到用全局注意力彻底替代循环的 Transformer，再到回归 RNN 效率哲学的新架构 Mamba——我们将追溯一条横跨 35 年的思想演化之路。

学习目标

完成本章后，你将能够：

  1. 理解RNN的原理和局限：解释循环结构如何模拟序列处理，以及为什么长程依赖和梯度消失让它失效

  2. 掌握LSTM的门控机制：理解细胞状态和隐状态的分离，以及遗忘门、输入门、输出门如何管理长期记忆

  3. 掌握因果注意力的直觉来源：理解"让每个隐状态与所有前序状态建立联系"如何自然导出注意力机制

  4. 理解Transformer的核心设计：掌握自注意力（Q/K/V）、多头机制、位置编码、FFN的设计哲学，以及O(n²)的来源

  5. 认识Mamba的思想回归：理解状态空间模型为什么是"现代版RNN"，以及选择性机制如何解决长程依赖

本章路线#

本章讲述了一个"出发—迷失—回归"的思想故事：

        graph LR
    A[RNN<br/>模仿大脑<br/>串行处理] -->|问题| B[梯度消失<br/>长程依赖]
    B -->|缓解| C[LSTM<br/>门控机制<br/>梯度高速公路]
    C -->|根本矛盾<br/>仍在| D[因果注意力<br/>连接所有前序]
    D -->|极致化| E[Transformer<br/>纯注意力<br/>O n²]
    E -->|反思| F[Mamba<br/>回归RNN效率<br/>选择性SSM]

核心认知：这不是简单的技术堆叠，而是一个思想在螺旋上升——从 RNN 出发，经历注意力的彻底革命，最终在更高的层次上回归 RNN 的效率哲学。

让我们从 循环神经网络：让网络拥有"记忆" 开始——一个最简单的循环结构，和一个横跨三十年的故事。

贡献者与修订历史

查看详细修订记录
  • dc35df2 2026-06-14 - Heyan Zhu: refactor: unify into two-chapter mountain-climbing narrative
  • f1c39fd 2026-05-11 - Heyan Zhu: docs: deduplicate index & introduction; fix the latex export problem on index content structures