《迁移学习 杨强教授新作 TRANSFER LEARNING》[76M]百度网盘|pdf下载|亲测有效

杨强教授领衔撰写，研究团队十余年艰苦研究工作的积累。
迁移学习“开山之作”，解决人工智能的“zui后一公里”问题。
张钹院士作序，邓力、高文、李开复、周志华（按姓氏拼音排序）联袂推荐。

迁移学习解决的是系统如何快速地适应新场景、新任务和新环境的问题，在目标域中只有少量标记数据可用时，它赋予了机器学习系统利用辅助数据和模型来解决目标问题的能力。这使得机器学习系统更加可靠和健壮，并且让机器学习模型在面对不可预见的变化时尽可能达到预期的性能。在企业层面，迁移学习允许知识的重复利用，使得每次获得的经验可以重复地应用于现实世界。

本书为迁移学习方向首本算法、理论、应用方面成熟、成体系的总结，相关领域研究的系统性参考。为迁移学习领域的新加入者提供了坚实的基础，也为经验丰富的研究人员和开发人员提供了新的视野。

本书分为两部分。第1部分（第1～14章）介绍迁移学习的基础，其中第1章对迁移学习进行概述，第2～14章介绍迁移学习相关的各种理论和算法。第2部分（第15～22章）讨论迁移学习的许多应用领域。第23章是对全书的总结。

杨强 微众银行首席人工智能官，香港科技大学计算机科学与工程系讲席教授，第四范式有限公司联合创始人，ACM、AAAI、IEEE、IAPR、CAAI和AAAS会士，香港人工智能与机器人学会理事长，AAAI 2021主席。曾任IJCAI理事长和多个国际顶会主席，包括IJCAI 2015、ACM KDD 2012等。曾获2004/2005 ACM KDDCUP冠军、2017 ACM SIGKDD杰出服务奖、2018 AAAI创新人工智能应用奖、2019 CAAI吴文俊人工智能科学技术杰出贡献奖。曾任华为诺亚方舟实验室创始主任和香港科技大学计算机系主任。曾创立IEEE Transactions on Big Data和ACM Transactions on Intelligent Systems and Technology期刊并任主编。著有《智能规划》《学术研究：你的成功之道》《软件工程中基于约束的设计恢复》和《联邦学习》。毕业于北京大学（天体物理学学士）和美国马里兰大学（计算机专业博士）。

张宇 南方科技大学计算机科学与工程系副教授，2011年在香港科技大学计算机科学与工程系获博士学位。在国内外人工智能和机器学习会议及期刊上发表论文约70篇。曾获UAI 2010和PAKDD 2019的最佳论文奖，以及2013年IEEE/WIC/ACM网络智能国际会议的最佳学生论文奖。2019年入选国家特聘专家（青年）。

戴文渊 第四范式有限公司创始人兼首席执行官。曾任百度首席架构师和高级科学家，帮助百度开发了机器学习系统。曾任华为诺亚方舟实验室首席科学家。毕业于香港科技大学计算机科学与工程系（博士）、上海交通大学计算机科学与工程系（硕士、学士）。在ICML、NIPS、AAAI、KDD等会议上发表论文多篇。曾获2005年ACM-ICPC总决赛世界冠军、2007年PKDD最佳学生论文奖。入选2017年《麻省理工科技评论》中国青年科技创新人才榜（TR35）发明家和2017年《财富》中国40位40岁以下商界精英。

潘嘉林 新加坡南洋理工大学计算机科学与工程学院教务长讲座副教授，曾任新加坡资讯通信研究所（Institute for Infocomm Research）数据分析部门文本分析实验室主任。2011年获香港科技大学计算机科学博士学位。2018年被《IEEE智能系统》评选为“10大AI青年科学家”（AI 10 to Watch）。

译者简介：

庄福振 中国科学院计算技术研究所副研究员、硕士生导师，于2011年7月在中国科学院研究生院获得博士学位；2013年9月被聘为副研究员。主要从事迁移学习、多任务学习、推荐系统以及大数据挖掘应用等方面的研究，相关成果已经在本领域、重要国际期刊和国际会议上发表\录用论文100余篇。迁移学习的工作曾获得SDM2010和CIKM2010的最佳论文提名，2013年获得中国人工智能学会优秀博士学位论文奖。入选2015年微软亚洲研究院青年教师“铸星计划”，2017入选中国科学院青年创新促进会。

该书是关于迁移学习的非常完整、权威的技术书籍。我同杨强教授早在20世纪80年代末就一同在加拿大的滑铁卢大学任教，深知他在人工智能领域潜心研究多年，有很高造诣。人工智能技术将加速人类社会向智能化发展，而迁移学习旨在实现人工智能举一反三的泛化能力，让人工智能在小数据场景中也能使用，大大加强了其解决实际问题的能力。该书是系统了解迁移学习的“教科书”，而且将其理论与应用相结合，可提供多个应用场景下的基于迁移学习的解决方案。不管是学术界还是工业界，该书都值得一读。

-------邓力 首席人工智能官, Citadel America

迁移学习是研究小样本学习的重要手段，而小样本学习是国务院发布的《新一代人工智能发展规划》中的高级机器学习理论的重要研究方向之一。这是全球范围内*本全面介绍迁移学习的书。它不仅全面概述了迁移学习原理和技术，还提供了迁移学习在计算机视觉、自然语言处理、推荐系统、生物信息学、城市计算等人工智能重要领域的应用介绍。如果你想了解如何使用甚至研究迁移学习，这本书会是很好的选择。

--------高文 北京大学教授，鹏城实验室主任，中国工程院院士

迁移学习技术是人工智能系统解决鲁棒性和小样本学习的重要手段，在工业界被广泛使用。杨强教授是该领域的奠基人和领军人物，他领衔撰写的这本书深入浅出地覆盖了迁移学习的方方面面，十分适合人工智能的初学者进行入门学习。

--------李开复 创新工场董事长兼CEO

该书由迁移学习领域专家杨强教授领衔、近三十位作者集体编著而成，内容全面覆盖了迁移学习相关技术基础和应用，不仅有助于学术界读者深入理解迁移学习，对工业界人士亦有重要参考价值。

--------周志华 南京大学人工智能学院院长，欧洲科学院外籍院士，ACM/AAAI/IEEE会士

专家评语顺序不分先后，按专家姓氏音序排列。

推荐序

译者序

前言

第一部分 迁移学习的基础

第1章 绪论/2

1.1 人工智能、机器学习以及迁移学习/2

1.2 迁移学习：定义/6

1.3 与已有机器学习范式的关系/9

1.4 迁移学习的基础研究问题/11

1.5 迁移学习应用/11

1.5.1 图像理解/11

1.5.2 生物信息学和生物成像/12

1.5.3 推荐系统和协同过滤/12

1.5.4 机器人和汽车自动驾驶/13

1.5.5 自然语言处理和文本挖掘/13

1.6 历史笔记/14

1.7 关于本书/15

第2章 基于样本的迁移学习/19

2.1 引言/19

2.2 基于样本的非归纳式迁移学习/20

2.2.1 判别区分源数据和目标数据/22

2.2.2 核平均匹配/23

2.2.3 函数估计/23

2.3 基于样本的归纳式迁移学习/24

2.3.1 集成源损失与目标损失/24

2.3.2 Boosting风格的方法/26

2.3.3 样本生成方法/27

第3章 基于特征的迁移学习/29

3.1 引言/29

3.2 最小化域间差异/30

3.2.1 最大均值差异/30

3.2.2 基于Bregman散度的正则化/34

3.2.3 使用特定分布假设的度量/34

3.2.4 数据依赖的域差异度量/35

3.3 学习通用特征/36

3.3.1 学习通用编码/36

3.3.2 深度通用特征/37

3.4 特征增强/38

第4章 基于模型的迁移学习/40

4.1 引言/40

4.2 基于共享模型成分的迁移学习/42

4.2.1 利用高斯过程的迁移学习/42

4.2.2 利用贝叶斯模型的知识迁移/43

4.2.3 利用深度模型的模型迁移/44

4.2.4 其他方法/45

4.3 基于正则化的迁移/45

4.3.1 基于支持向量机的正则化/46

4.3.2 基于多核学习的迁移学习/47

4.3.3 深度模型中的微调方法/48

第5章 基于关系的迁移学习/52

5.1 引言/52

5.2 马尔可夫逻辑网络/54

5.3 利用马尔可夫网络的基于关系的迁移学习/55

5.3.1 通过一阶逻辑的浅层迁移/55

5.3.2 通过二阶逻辑的深度迁移/57

5.3.3 通过结构类比的迁移学习/59

第6章 异构迁移学习/61

6.1 引言/61

6.2 异构迁移学习问题/63

6.3 方法/63

6.3.1 异构特征空间/64

6.3.2 异构标签空间/78

6.4 应用/79

第7章 对抗式迁移学习/82

7.1 引言/82

7.2 生成对抗网络/83

7.3 采用对抗式模型的迁移学习/86

7.3.1 生成目标域数据/87

7.3.2 通过对抗式学习来学习域不变特征/89

7.4 讨论/91

第8章 强化学习中的迁移学习/92

8.1 引言/92

8.2 背景/93

8.2.1 强化学习/94

8.2.2 强化学习任务中的迁移学习/95

8.2.3 迁移学习在强化学习中的目标/96

8.2.4 迁移强化学习分类/98

8.3 任务间迁移学习/99

8.3.1 基于样本的迁移/99

8.3.2 基于特征的迁移/100

8.3.3 基于模型的迁移/103

8.3.4 解决“迁移时机”问题/105

8.4 域间迁移学习/105

8.4.1 基于样本的迁移/106

8.4.2 基于特征的迁移/107

8.4.3 基于模型的迁移/108

第9章 多任务学习/109

9.1 引言/109

9.2 定义/111

9.3 多任务监督学习/111

9.3.1 基于特征的多任务监督学习/112

9.3.2 基于模型的多任务监督学习/114

9.3.3 基于样本的多任务监督学习/120

9.4 多任务无监督学习/120

9.5 多任务半监督学习/120

9.6 多任务主动学习/121

9.7 多任务强化学习/121

9.8 多任务在线学习/121

9.9 多任务多视图学习/122

9.10 并行与分布式多任务学习/122

第10章 迁移学习理论/123

10.1 引言/123

10.2 多任务学习的泛化界/124

10.3 监督迁移学习的泛化界/127

10.4 无监督迁移学习的泛化界/129

第11章 传导式迁移学习/131

11.1 引言/131

11.2 混合图上的传导式迁移学习/133

11.2.1 问题定义/134

11.2.2 混合迁移算法/135

11.3 基于隐性特征表示的传导式

迁移学习/137

11.3.1 问题定义/137

11.3.2 耦合的矩阵三因子分解算法/138

11.4 基于深度神经网络的传导式

迁移学习/141

11.4.1 问题定义/141

11.4.2 选择学习算法/142

第12章 自动迁移学习：学习如何

自动迁移/146

12.1 引言/146

12.2 L2T框架/147

12.3 参数化“迁移什么”/148

12.3.1 基于公共隐空间的算法/149

12.3.2 基于流形集成的算法/149

12.4 从经验中学习/149

12.4.1 源域和目标域之间的差异/149

12.4.2 目标域判别能力/151

12.4.3 优化问题/151

12.5 推断“迁移什么”/151

12.6 与其他学习范式的联系/152

12.6.1 迁移学习/152

12.6.2 多任务学习/153

12.6.3 终身机器学习/153

12.6.4 自动化机器学习/153

第13章 小样本学习/155

13.1 引言/155

13.2 零样本学习/156

13.2.1 概述/156

13.2.2 零样本学习算法/157

13.3 单样本学习/161

13.3.1 概述/161

13.3.2 单样本学习算法/161

13.4 贝叶斯规划学习/163

13.4.1 概述/163

13.4.2 用于识别字符笔画的贝叶斯规划学习/163

13.5 短缺资源学习/166

13.5.1 概述/166

13.5.2 机器翻译/166

13.6 域泛化/168

13.6.1 概述/168

13.6.2 偏差SVM/169

13.6.3 多任务自动编码器/169

第14章 终身机器学习/171

14.1 引言/171

14.2 终身机器学习：定义/172

14.3 通过不变的知识进行终身机器学习/173

14.4 情感分类中的终身机器学习/174

14.5 共享模型组件用于多任务学习/177

14.6 永无止境的语言学习/178

第二部分 迁移学习的应用

第15章 隐私保护的迁移学习/184

15.1 引言/184

15.2 差分隐私/185

15.2.1 定义/185

15.2.2 隐私保护的正则化经验风险最小化/186

15.3 隐私保护的迁移学习/188

15.3.1 问题设置/188

15.3.2 目标提升/188

15.3.3 多方学习/191

15.3.4 多任务学习/193

第16章 计算机视觉中的迁移学习/194

16.1 引言/194

16.2 概述/195

16.2.1 浅层迁移学习模型/195

16.2.2 深度迁移学习模型/199

16.2.3 迁移学习用于其他视觉任务/200

16.3 迁移学习用于医学图像分析/201

16.3.1 医学图像分类/201

16.3.2 医学图像异常检测/203

16.3.3 医学图像分割/204

第17章 自然语言处理中的迁移学习/205

17.1 引言/205

17.2 NLP中的迁移学习/205

17.2.1 问题设置/206

17.2.2 NLP应用中的参数初始化/206

17.2.3 NLP应用中的多任务学习/207

17.3 情感分析中的迁移学习/212

17.3.1 问题定义和符号/214

17.3.2 浅模型/214

17.3.3 基于深度学习的方法/217

第18章 对话系统中的迁移学习/226

18.1 引言/226

18.2 问题形式化定义/228

18.3 口语理解中的迁移学习/228

18.3.1 问题定义/229

18.3.2 模型适配/229

18.3.3 基于样本的迁移/229

18.3.4 参数迁移/230

18.4 对话状态跟踪中的迁移学习/231

18.4.1 基于特征的多领域对话状态跟踪/231

18.4.2 基于模型的多领域对话状态跟踪/231

18.5 对话策略学习中的迁移学习/232

18.5.1 针对Q学习的迁移线性模型/233

18.5.2 针对Q学习的迁移高斯过程/233

18.5.3 针对Q学习的迁移贝叶斯

委员会机器/235

18.6 自然语言生成中的迁移学习/236

18.6.1 自然语言生成中的模型微调/237

18.6.2 自然语言生成中的课程学习/237

18.6.3 自然语言生成中的样本合成/237

18.7 端到端对话系统中的迁移学习/238

18.7.1 完全参数微调/239

18.7.2 部分参数共享/239

第19章 推荐系统中的迁移学习/247

19.1 引言/247

19.2 在推荐中迁移什么/248

19.2.1 推荐系统中基于样本的迁移学习方法/248

19.2.2 推荐系统中基于特征的迁移学习方法/249

19.2.3 推荐系统中基于模型的迁移学习方法/251

19.3 新闻推荐/252

19.3.1 问题定义/253

19.3.2 挑战和解决方案/254

19.3.3 解决方案：基于邻域的迁移学习/254

19.4 社交网络中的VIP推荐/255

19.4.1 问题定义/256

19.4.2 挑战和解决方案/257

19.4.3 解决方案：基于社交关系的迁移/258

第20章 生物信息学中的迁移学习/260

20.1 引言/260

20.2 生物信息学中的机器学习问题/261

20.3 生物序列分析/262

20.4 基因表达分析和遗传分析/265

20.5 系统生物学/266

20.6 生物医学文本和图像挖掘/268

20.7 基于深度学习的生物信息学/268

20.7.1 深度神经追踪/268

20.7.2 生物信息学中的深度迁移学习/272

第21章 行为识别中的迁移学习/273

21.1 引言/273

21.2 针对无线定位的迁移学习/273

21.2.1 依赖于环境的数据稀疏性挑战/274

21.2.2 基于特征的迁移学习用于定位/276

21.2.3 基于样本的迁移学习用于定位/278

21.2.4 基于模型的迁移学习用于定位/280

21.3 针对行为识别的迁移学习/282

21.3.1 背景/282

21.3.2 问题设置/284

21.3.3 跨特征空间的迁移/285

21.3.4 跨标签空间的迁移/287

第22章 城市计算中的迁移学习/289

22.1 引言/289

22.2 城市计算中的“迁移什么”/290

22.3 城市计算中迁移学习的关键问题/291

22.4 连锁店推荐/292

22.4.1 问题设置/292

22.4.2 CityTransfer模型/293

22.5 空气质量预测/295

22.5.1 问题设置/295

22.5.2 FLORAL模型/296

第23章 结束语/297

参考文献/299

名词中英文对照/341

推荐序

迈向真正的人工智能30多年前我与杨强教授在人工智能（AI）的国际会议上相遇并相识，而后发现我们对AI有着共同的兴趣并从事类似的研究工作。当时正处于第一代AI的高潮，符号主义占主导地位。我们利用以知识为基础的符号推理模型研究AI中的各种问题，如规划、搜索和学习等。这是当时的主流，以机器学习为例，如从观察中学习、基于案例的推理、类比学习和归纳学习等，它们均从模仿人类的宏观学习机制出发，以知识（或经验）驱动为基础。这种学习方法的优点是，学习的模型和结果很容易实现跨领域和跨任务的推广。不难看出，这些学习方法正是当今迁移学习（Transfer Learning）的探路者。可惜，不久它们就遭遇了AI的冬天。由于知识获取与表示的困难，以及当时计算机计算能力的限制，符号主义的主张没有得到应有的发展和大规模的应用，以知识为基础的学习方法也同样受到重创。21世纪初，机器学习中的一个分支——概率统计学习（特别是深度学习）异军突起，获得巨大成功。它不仅建立了较好的理论基础和有效的算法，还成功地得到商业应用，成为推动产业和社会发展的重要力量，使AI进入了以数据驱动为主导的第二代AI发展时代。凭借大数据、强大的算法和算力，第二代AI在模式识别等领域表现出超越人类的性能。可惜，以数据驱动为基础建立的AI系统十分脆弱，推广能力也很差，例如：机器学习模型在某些方面可以具有很高的性能,但当模型应用于有别于训练环境的场景中时，其性能显著下降，甚至完全不能使用，与人类“随机应变”和“举一反三”的真正智能相去甚远。为了迈向真正的AI，我们需要第三代AI，而迁移学习正在向这一道路迈进。迁移学习将知识驱动方法和数据驱动方法结合起来，以打破基于大数据的“黑箱”学习带来的不可解释、脆弱与易受攻击等缺陷，建立可解释与鲁棒的AI理论和方法，开发安全、可信、可靠和可扩展的AI技术。由于能同时利用知识、数据、算法和算力这四大要素，AI一定可以再创辉煌。本书展示了在通往真正AI的道路上作者在机器学习领域已经取得的成果。

迁移学习如何将基于数据学习得到的模型从一种场景更新或者迁移到另一场景，从而实现跨领域和跨任务的推广？具体的做法如下：首先，从学习训练的环境（包括训练数据与方法）出发，发现哪些（具有某种通用性的）知识可以跨领域或者跨任务进行迁移，哪些只是针对单个领域或单个任务的特定知识，并利用通用的知识帮助提升目标域或目标任务的性能。这些通用知识主要通过以下4种渠道迁移到目标域中，即源域中可利用的样本、源域和目标域中可共享的特征、源域模型中可利用的部分、源域中实体之间的特定规则。

本书是杨强教授与其学生在多年研究的基础上撰写的，它包含了迁移学习的基础、方法、技术和应用。本书主要由两部分组成：第1部分从代表性方法和理论研究的角度介绍迁移学习的基础；第2部分讨论迁移学习中的一些新热点,以及展示一些成功应用迁移学习的场景。本书包含很多原创性的成果，是一部值得广大读者阅读的专著。本书向我们展示了作者为走向真正AI所做出的努力，因此不仅适合关注迁移学习的读者，而且对于所有关心人工智能的读者都是有益处的。

张钹院士

清华大学人工智能研究院院长

译者序

迁移学习是机器学习中一种新的学习范式，旨在解决目标领域中只有少量甚至没有标记样本的富有挑战性的学习问题。本书英文版作者——香港科技大学的杨强教授指出：迁移学习能够解决人工智能的最后一公里问题，它就像人类一样，能够举一反三，有效地把模型从一个场景迁移到另一个场景，从而突破传统机器学习必须有大量标记数据作为前提的要求。在过去的十几年里，不管是在算法、理论研究还是实际场景应用方面，迁移学习都得到了越来越广泛的关注和研究。

当我通过机械工业出版社华章公司得知杨强教授撰写的本书时，我感到非常兴奋和激动，因为终于有一本比较成熟的书系统地对迁移学习的算法、理论、应用以及相关领域研究进行了总结。首先，非常感谢华章公司的委托以及杨强教授的信任，让我有幸负责组织全书的中文翻译工作。全书凝聚了杨强教授及其团队在迁移学习以及相关领域的研究成果，包括迁移学习、多任务学习、迁移学习理论、自动迁移学习、小样本学习、终身机器学习，以及迁移学习在计算机视觉、自然语言处理、推荐系统、生物信息学、行为识别等方面的研究成果。这是一本系统而全面的书。本人目前的主要研究方向包括迁移学习、多任务学习、多视图学习以及推荐系统等，也有幸从2007年开始，在罗平师兄的指导下开展迁移学习算法的研究，主要研究方向有文本分类、情感分析、推荐系统、异常检测等应用。令人欣慰的是，我们最近也完成了一篇关于近十年来迁移学习研究工作进展的系统综述，该综述主要从数据和模型角度对迁移学习算法进行了总结，也比较全面地涵盖了本人及团队在该领域的研究成果，详见arxiv上的预印版本　A Comprehensive Survey on Transfer Learning:https://arxiv.org/abs/1911.02685。

从2019年5月接受委托开始本书的翻译工作以来，本人前后历时约8个月，终于顺利完成了翻译工作。本书之所以能够顺利完成，离不开我的学生、朋友及家人的积极参与、关心和支持。在这里我要特别感谢他们，包括何佳、张钊、陈敬伍、奚冬博、孙莹、朱勇椿、王天鑫、汪润川、周干斌、应豪超、张啸、弋飞、赵洁洁、陈天柱、段柯宇、郭桐嘉、黄婷、张函玉(排名不分先后)。当然，这也离不开出版社编辑的仔细校对，在这里一并表示感谢。由于时间仓促，本书虽然经历了几轮反复梳理和校对，但难免还有一些翻译习惯上的差异以及瑕疵。若有发现，请及时反馈给本人或出版社进行修正，不胜感激。

最后，迁移学习作为一种新的机器学习范式，虽然近十年来已经得到广泛的关注和研究，但本人认为该领域还非常年轻，还有很多事情可以做。比如真实场景中的实际应用，虽然其中有一些实际数据的应用，但其算法主要还停留在实验阶段，离实用性还有一定距离。另外，现实世界中存在着各种各样的应用需求，也急需对迁移学习做进一步开发和探索。我希望本书作为迁移学习领域的第一本书籍，可以吸引越来越多的读者和研究人员来从事这方面的研究，从而推动该领域的发展，为迁移学习解决人工智能的最后一公里问题做出贡献。

庄福振

中国科学院计算技术研究所

2019年12月31日

前 言

本书介绍迁移学习的基础、方法、技术和应用。迁移学习解决的是学习系统如何快速适应新场景、新任务和新环境的问题。迁移学习是机器学习中一个特别重要的领域，我们可以从几个角度来理解。

第1，从小数据中学习的能力似乎是人类智能的一个特别强大的方面。例如，我们观察到婴儿可以仅从一些例子中学习，并能快速而有效地从这些例子中归纳出概念。这种从小数据中学习的能力在某种程度上可以解释为人类利用和调整以前的经验和预先训练的模型来帮助解决未来目标问题的能力。适配（adaptation）是智能生物的一种先天能力，人工智能主体当然也应该被赋予迁移学习能力。

第2，在机器学习实践中，我们经常遇到大量的小型数据集，这些数据集通常是孤立的、碎片化的。许多机构由于很多限制而没有能力收集到大规模数据集，这些限制包括资源限制、组织利益、法规和对用户隐私的考虑等。当这些机构把人工智能技术应用到其问题中时，这种小数据的挑战是其面临的一个严重问题。迁移学习是针对这一挑战的一种合适的解决方案，因为它可以利用许多辅助数据和外部模型，并调整它们来解决目标问题。

第3，迁移学习可以使人工智能和机器学习系统更加可靠和鲁棒。建立一个机器学习模型通常遇到的情况是，人们不能预见所有未来的情况。在机器学习中，这个问题通常使用一种称为正则化的技术来解决，这种技术通过限制模型的复杂性来为将来的变化留下空间。迁移学习进一步采用了这种方法，它允许模型保持复杂性，同时为实际出现的变化做好准备。

此外，当把学习到的模型用于跨领域边界并面临不可预见的变化时，迁移学习仍然可以确保模型性能不会与预期性能相差太大。通过这种方式，迁移学习可以让知识重复利用，从而使获得的经验可以重复地应用到现实世界中。从软件系统的角度来看，如果系统能够通过迁移学习调整自身以适应新领域，那么当外部环境发生变化时，可以认为系统变得更加鲁棒和可靠。在工程实践中，这样的系统通常是首选的。

如果在机器学习实践中继续应用迁移学习，我们就可以获得终身机器学习系统，它可以从一系列解决问题的经验中汲取知识，无论是在很长一段时间内还是从大量的任务中。迁移学习赋予智能系统终身学习的能力。

最后，迁移学习系统可以成为一个严格保护用户隐私的良好商业模型的支柱。这样，一个预训练的模型就可以被下载和适配到计算机网络的边缘，而不泄露从边缘积累的或位于云端的用户数据。通过将模型从服务器端转移到客户端，可以有效地保护客户端的隐私。此外，通过仔细构造迁移学习算法，还可以保护云上的用户私人信息。

就像人工智能特别是机器学习一样，迁移学习的概念也经历了几十年的演化。从早年的人工智能开始，研究人员就把迁移知识的能力当作智能的根本基石之一。迁移学习也有不同的名称，并以不同的形式进行探索，包括类比学习（learning by analogy）、 基于案例的推理（case-based reasoning）、 知识重用和重建、 终身机器学习（lifelong machine learning）、 永无止境的学习（never-ending learning）和域适应（domain adaptation）等。除了人工智能和计算机科学外，迁移学习的概念也以不同的术语被研究。例如，在教育理论和学习心理学领域，学习迁移（transfer of learning）的概念一直是教育工作者研究有效学习和教学建模的一个重要课题，人们坚信，最好的教学能使学生学会“如何学习”，并使所学知识适应未来的情况。尽管名称不同，但其本质是相似的：能够利用自己过去的经验，帮助自己在未来做出更有效的决定。

迁移学习的研究涉及科学和工程的许多领域，包括人工智能、算法理论、概率和统计等。随着人们对人工智能的兴趣的增长，该领域也在经历着快速的变化，许多新的研究也对该领域做出了贡献。作为第一本关于该领域的书，我们希望它能成为机器学习研究和应用领域的新加入者的工具，同时也希望它成为经验丰富的机器学习研究人员和应用程序开发人员的参考书。

本书分为两部分。第1部分（第1~14章）介绍迁移学习的基础，其中第1章对迁移学习进行概述，第2~14章介绍迁移学习相关的各种理论和算法。第2部分（第15~22章）讨论迁移学习的许多应用领域。第23章是对全书的总结。

本书是研究人员十多年艰苦研究工作的积累，主要研究人员包括杨强教授的现在和往届的研究生、博士后研究人员和研究助理。每章的作者包括一位或几位学生。四位主要作者负责一些章节的撰写或深入各章来帮助精练内容，或者两者兼而有之。以下是每章的作者。

第1章：潘嘉林、杨强

第2章：张翔

第3章：耿栩

第4章：吴学阳

第5章：田晗

第6章：魏颖

第7章：张颖华

第8章：刘博

第9章：张宇

第10章：张宇

第11章：谭奔

第12章：张宇、魏颖

第13章：邓锦亮

第14章：李良豪、杨强

第15章：郭夏玮、陈雨强、涂威威、戴文渊

第16章：张颖华、王伟俨

第17章：肖文怡、李正

第18章：莫凯翔

第19章：潘微科、胡光能

第20章：徐倩、刘博、杨强

第21章：郑文琛、胡昊

第22章：王乐业、李叶昕

第23章：杨强、张宇、戴文渊、潘嘉林

最后，感谢邓玉桃的管理工作，她帮助我们制定了严格的时间表，并进行了团队管理工作。在此向以上贡献者表示衷心的感谢！如果没有他们的努力，本书是不可能完成的。

还要感谢多年的同事、组织和合作者。感谢香港科技大学、香港研资局CERG基金、香港创新及科技基金、第四范式公司、新加坡南洋理工大学、微众银行等机构的鼎力支持。

最后，感谢家人的支持，他们的耐心和鼓励让我们最终完成了本书。