序列建模：从 RNN 到 Transformer 再到 Mamba

CNN 处理静态图像，但文字、音乐、视频都有时间顺序。如何让神经网络理解"顺序"？ 从 RNN 到 Transformer 再到 Mamba——35 年的思想演化，一章讲完。

本章概览

章节	内容	与前面章节的联系
引言：从空间到时间	从空间到时间：序列建模的问题引入	为什么顺序很重要
循环神经网络：让网络拥有"记忆"	RNN原理、BPTT、梯度消失	梯度消失（Vanishing Gradient） 在序列上的具体体现
LSTM：给记忆装上"门"	LSTM门控机制、细胞状态、梯度高速公路	ResNet：高原反应补给站 的残差思想在序列上的应用
从RNN到注意力：一个思想的跳跃	因果注意力的直觉起源	归纳偏置 如何从"时序因果"走向"全局关联"
Transformer：注意力的极致	自注意力、多头、FFN、O(n²)问题	与 下篇：真正的未登峰 的两种注意力对比
Mamba 简述：对RNN思想的回归	状态空间模型与RNN思想的回归	选择性机制——LSTM：给记忆装上"门" 门控思想的延续
总结与展望	总结与对比	RNN/LSTM vs Transformer vs Mamba 的系统对比

学习路径

        graph LR
    A[RNN<br/>理解循环] --> B[LSTM<br/>理解门控]
    B --> C[注意力起源<br/>理解连接]
    C --> D[Transformer<br/>理解并行]
    D --> E[Mamba<br/>理解回归]
    

核心认知：这 35 年的故事不是让你记住所有架构细节，而是让你理解每个新设计为什么要抛弃旧方案——RNN 为什么需要 LSTM，LSTM 为什么需要注意力，Transformer 为什么又被 Mamba 挑战。理解了"为什么变"，就理解了"是什么"。

前置知识

• 梯度消失：梯度消失（Vanishing Gradient） 和 Jacobian 连乘分析

• 归纳偏置：归纳偏置 中的架构先验假设

• 计算图：计算图 中数据流动和梯度回流的概念

• CNN注意力与自注意力的区别：引言：真正的山 中通道/空间注意力的基本概念

贡献者与修订历史

查看详细修订记录

• dc35df2 2026-06-14 - Heyan Zhu: refactor: unify into two-chapter mountain-climbing narrative
• a954ca5 2026-05-11 - Heyan Zhu: docs: revise and restructure documentation, fix formatting, and move env setup and sphinx guide to a separate appendix section
• f1c39fd 2026-05-11 - Heyan Zhu: docs: deduplicate index & introduction; fix the latex export problem on index content structures
• 2dc78ed 2026-05-09 - Heyan Zhu: fix: address latex errors when building pdf
• 8eb3275 2026-05-09 - Heyan Zhu: feat(sequence-modeling): add new chapter on sequence modeling from RNN to Mamba