迁移学习分类体系#

导论与核心思想中我们理解了迁移学习的核心动机：借用源领域的知识解决目标领域的问题。但"迁移"这个词很宽泛——

是用 ImageNet 预训练模型做医学影像分类？
是把英文情感分析模型迁移到中文？
还是让模型同时学习多个相关任务？

这些都是迁移学习，但技术路线完全不同。本章将建立一套分类体系，帮助你在面对具体问题时快速找到合适的方法。

按迁移情境分类#

根据源域与目标域的关系，迁移学习可分为三类 [PY10]：

归纳式迁移学习

定义：源域和目标域的任务不同。这是最常见的场景。

用 ImageNet 预训练模型做医学影像分类——同样是"看图"，但分类的内容从"猫还是狗"变成了"有没有病灶"。
直推式迁移学习

定义：源域和目标域的任务相同但数据来源不同。

在英文新闻上训练的情感分析模型，迁移到中文社交媒体文本——任务都是"判断情绪"，但语言不同了。

核心挑战是领域偏移：同样的任务，不同的数据分布。
无监督迁移学习

定义：源域和目标域都不需要标注数据。

用自监督预训练的特征提取器，直接对新领域的图像做聚类——全程不需要任何人标注。

类型	任务关系	数据来源	需要标注？
归纳式	不同	可同可不同	目标域需要
直推式	相同	不同	目标域少量或不需
无监督	可不同	可不同	都不需要

这三类中，归纳式覆盖了绝大多数实际场景——你几乎总是在用预训练模型解决一个新任务。

按迁移方法分类#

知道"属于哪种情境"只是第一步，更关键的问题是：知识到底怎么从源域搬到目标域？ 根据迁移机制，可分为四类 [ZQD+20]：

1. 基于模型的迁移#

核心思想：直接复用预训练模型的参数和结构。这是最常用、最高效的方法。

类比：你刚拿到驾照（预训练模型），现在要开一辆不熟悉的车——方向盘、刹车、油门的基本操作都一样，你只需要适应新车的手柄位置和刹车灵敏度。

这条路的灵魂：冻结与解冻

神经网络像一栋多层建筑：

楼层	学到的内容	通用程度	迁移时的策略
底层	边缘、颜色、纹理	最通用	冻结——任何任务都用得上
中层	形状、部件、组合	较通用	微调或冻结——看任务相似度
顶层	语义、物体类别	最特定	替换——重新学分类头

关键决策就是决定哪些层"冻结"（保留预训练知识不动）和哪些层"解冻"（允许在新任务上调整）。这个决策直接决定了迁移效果——冻太多则适应不足，冻太少则知识丢失。

展开讲：基于模型的迁移将详细覆盖特征提取、微调、分层学习率和渐进解冻等实践技巧。

2. 基于特征的迁移#

核心思想：学习一个"翻译层"，把源域和目标域的特征映射到同一个空间，让模型分不出数据来自哪个域。

类比：两台相机拍同一个场景——iPhone 的照片鲜艳，老式手机的照片暗淡。基于特征的方法就是找到一种"滤镜"，让两种照片看起来风格统一，这样用 iPhone 照片训练的模型也能识别老式手机拍的内容。

什么时候用：源域和目标域差异很大（如游戏画面 → 真实街景），直接用模型迁移效果差时。

3. 基于实例的迁移#

核心思想：给源域中"跟目标域长得像"的样本更高权重，让模型专注于有用的那部分数据。

类比：你要用一本通用百科全书（源域）来准备一场生物考试（目标域）。不需要整本背诵——只需要把"动物"“植物”"细胞"相关的词条标亮，重点复习。

什么时候用：源域大而杂、只有部分内容与目标域相关。

4. 基于关系的迁移#

核心思想：迁移数据之间的逻辑关系或知识结构，而不是单个样本或特征。

类比：学生学了"苹果和香蕉都是水果"后，能自动推断"草莓也是水果"——这不是因为见过草莓，而是掌握了"水果"这个概念的关系网。

什么时候用：数据具有明确的结构化关系（推荐系统、知识图谱）。

四类方法对比#

方法	核心操作	需要源域数据？	实现难度	主流程度
基于模型	冻结/解冻层、替换分类头	❌ 不需要	⭐ 低	⭐⭐⭐⭐⭐
基于特征	学习域不变特征空间	✅ 需要	⭐⭐⭐ 高	⭐⭐
基于实例	调整样本权重	✅ 需要	⭐⭐⭐ 高	⭐⭐
基于关系	迁移逻辑规律	✅ 需要	⭐⭐⭐ 高	⭐

方法选择指南#

        graph TD
    A[开始] --> B{有预训练模型？}
    B -->|是| C{源域和目标域差异大吗？}
    C -->|不大| D[**基于模型**<br/>冻结/解冻/微调]
    C -->|很大| E[**基于特征** + 微调<br/>学习域不变表示]
    B -->|否| F{有源域原始数据吗？}
    F -->|有| G[**基于实例**<br/>样本加权迁移]
    F -->|没有| H[**基于关系**<br/>挖掘结构规律]

迁移学习方法选择流程#

核心结论：90% 的实战场景走第一条路径——基于模型的迁移。

本章小结#

按情境分三类——知道"我的问题属于哪种"：

归纳式：任务不同（最常见）
直推式：任务相同，数据不同
无监督：没标注数据

按方法分四类——知道"知识怎么搬运"：

基于模型：冻结/解冻层（最常用，下一章展开）
基于特征：对齐特征空间
基于实例：调整样本权重
基于关系：迁移逻辑规律

关于未展开内容

本章作为分类概览，没有深入以下内容：

基于实例的 TrAdaBoost 算法细节（涉及 Boosting 理论，超出本课程范围）
基于特征的 MMD/CORAL 等域适应算法（需要较深的概率论和核方法基础）
基于关系的知识图谱嵌入（偏 NLP 和图论方向）

高中读者建议：聚焦基于模型的迁移中的基于模型迁移——这是最实用、门槛最低的路径。其他三类方法的直觉理解本章已足够，当你未来遇到对应的实际需求时，再回来深挖不迟。

下一步#

掌握了分类体系后，基于模型的迁移我们将深入讲解基于模型的迁移——这是工业界最主流的方法。你将学会：如何加载预训练模型、冻结哪些层 / 解冻哪些层、怎样替换分类头，以及分层学习率和渐进解冻等核心技巧。

参考文献

[PY10]

Sinno Jialin Pan and Qiang Yang. A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10):1345–1359, 2010.

[ZQD+20]

Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Hui Xiong, and Qing He. A comprehensive survey on transfer learning. Proceedings of the IEEE, 109(1):43–76, 2020.

贡献者与修订历史

查看详细修订记录

e2bc880 2026-06-13 - Heyan Zhu: fix: missing bib keys in pdf output
d7c9da7 2026-05-12 - Heyan Zhu: docs: update sphinx only filter from not pdf to not latex
a954ca5 2026-05-11 - Heyan Zhu: docs: revise and restructure documentation, fix formatting, and move env setup and sphinx guide to a separate appendix section
b5be2d6 2026-04-28 - Heyan Zhu: docs: update documentation and improve content organization
b7ed915 2026-02-28 - Heyan Zhu: docs: add transfer learning