《模式识别与机器学习》[68M]百度网盘|pdf下载|亲测有效

通俗易懂，配有典型示例

 图文并茂，配有近100幅直观示意图

 算法清晰，做到知其然和知其所以然

 富有深度，包含重要模型扩展

 完整性好，附有重要数学基础

 配套全面，教学和学习无忧

模式识别与机器学习系统介绍了模式识别与机器学习的基础理论、模型与算法，同时兼顾了前沿知识的适当融入。本书以贝叶斯学习的思想贯穿始终，并适时与其他重要知识点（如支持向量机、深度学习）等进行交叉和关联，便于读者在形成良好知识体系的同时保持对整个领域知识的全面把握。

全书共14章和4个附录，循序渐进地对模式识别与机器学习领域进行剖析。首先介绍贝叶斯学习基础、逻辑回归、概率图模型基础、隐马尔可夫模型和条件随机场，接着介绍支持向量机、人工神经网络与深度学习、高斯过程、聚类、主成分分析与相关的谱方法，最后介绍确定性近似推理、随机近似推理和强化学习。附录包括传统的模式识别与机器学习方法近邻法和决策树，还有向量微积分和随机变量的变换等与本学科方向强相关的重要知识点。

本书内容深入浅出，生动有趣，力求反映这一领域的核心知识体系和新的发展趋势。每章内容都尽可能做到丰富完整，并附有思考与计算题，便于读者对知识的巩固和融会贯通。

本书适合作为本科生和研究生（硕/博）课程的教材，也可作为希望从事人工智能相关工作的科技工作者的自学参考书。

孙仕亮，清华大学博士，华东师范大学教授。在华东师范大学从事研究工作，主讲本科和研究生“模式识别与机器学习”“高级机器学习”等课程，并在英国伦敦大学学院、美国哥伦比亚大学从事访问合作研究。在模式识别与机器学习领域的国际著名期刊和会议发表学术论文100余篇，承担多项国j级、省部级科研项目及国际知名企业的合作研究项目，研究成果多次获得省部级科学技术奖励。

 赵静，华东师范大学博士，讲师。从事模式识别与机器学习领域的研究，包括概率模型、贝叶斯学习、j似推理与优化。主讲研究生“高级机器学习”和本科生“可信机器学习”等课程。入选上海市2016年度“扬帆计划”和2019年度“晨光计划”。发表论文20篇，代表性成果发表于JMLR、T-CYB、IJCAI等国际顶j期刊和会议。

目录

第1章引言1

1.1基本概念1

1.1.1投票选举2

1.1.2三个小皮匠胜过诸葛亮3

1.1.3主动学习4

1.2典型的机器学习系统5

1.2.1医学图像诊断5

1.2.2时间序列识别6

1.2.3对话系统7

1.2.4异常检测8

1.3前沿研究方向举例9

1.3.1多视图机器学习9

1.3.2强化学习11

1.3.3可信人工智能11

1.4后续章节安排13

参考文献13

第2章贝叶斯学习基础15

2.1贝叶斯公式16

2.2贝叶斯决策18

2.2.1最小错误率贝叶斯决策18

2.2.2最小风险贝叶斯决策21

2.3分类器的相关概念23

2.3.1分类器、判别函数和决策面24

2.3.2分类器的错误率25

2.4基于高斯分布的贝叶斯分类器26

2.5朴素贝叶斯分类器32

2.6参数估计33

2.6.1最大似然估计33

2.6.2最大后验估计35

2.6.3期望最大化算法36

2.6.4贝叶斯参数估计37

思考与计算38

参考文献39

第3章逻辑回归40

3.1线性回归41

3.1.1最小二乘与最大似然44

3.1.2正则化最小二乘与最大后验47

3.2贝叶斯线性回归50

3.3逻辑回归52

3.3.1二类逻辑回归52

3.3.2多类逻辑回归55

3.4贝叶斯逻辑回归56

思考与计算60

参考文献60

第4章概率图模型基础61

4.1有向图模型63

4.1.1模型表示63

4.1.2条件独立性65

4.1.3常见的有向图模型71

4.2无向图模型73

4.2.1模型表示73

4.2.2条件独立性74

4.2.3常见的无向图模型81

4.3图模型中的推理82

4.3.1链式结构82

4.3.2树结构84

4.3.3因子图84

4.3.4和积算法85

4.3.5最大和算法92

思考与计算94

参考文献95

第5章隐马尔可夫模型96

5.1模型表示97

5.2模型推理100

5.2.1边缘似然的推理101

5.2.2隐状态序列的推理107

5.2.3隐状态边缘后验的推理108

5.3参数学习109

5.4模型扩展111

思考与计算115

参考文献116

第6章条件随机场117

6.1模型表示118

6.1.1线性链条件随机场120

6.1.2一般的条件随机场121

6.1.3条件随机场的特征函数122

6.2模型推理124

6.2.1前向—后向算法125

6.2.2维特比算法129

6.3参数学习130

6.4线性链条件随机场与隐马尔可夫模型132

6.5模型扩展133

思考与计算133

参考文献134

第7章支持向量机135

7.1大间隔原理136

7.2基本分类模型137

7.3拉格朗日对偶优化138

7.4线性不可分数据的分类140

7.4.1松弛变量140

7.4.2核方法142

7.5支持向量机回归144

7.6模型扩展146

思考与计算146

参考文献147

第8章人工神经网络与深度学习148

8.1感知机149

8.2多层神经网络151

8.2.1神经元151

8.2.2多层神经网络模型153

8.2.3反向传播算法155

8.3深度神经网络159

8.3.1浅层与深度神经网络159

8.3.2过拟合问题160

8.3.3局部极值问题162

8.3.4梯度消失问题163

8.4常用的深度神经网络166

8.4.1自编码网络166

8.4.2深度玻尔兹曼机168

8.4.3深度信念网络169

8.4.4卷积神经网络170

8.4.5循环神经网络174

8.4.6Transformer177

思考与计算180

参考文献181

第9章高斯过程183

9.1高斯过程的定义184

9.2高斯过程回归模型185

9.2.1权重空间185

9.2.2函数空间189

9.3高斯过程分类模型192

9.3.1模型表示193

9.3.2近似推理方法195

9.4高斯过程与支持向量机199

9.5高斯过程与人工神经网络200

9.6模型扩展201

思考与计算203

参考文献203

第10章聚类205

10.1K均值聚类206

10.1.1算法介绍206

10.1.2模糊K均值聚类209

10.2谱聚类210

10.3高斯混合模型聚类217

10.3.1模型表示217

10.3.2模型推理与参数估计218

10.3.3无限高斯混合模型219

思考与计算222

参考文献223

第11章主成分分析与相关的谱方法224

11.1主成分分析225

11.1.1最大化方差225

11.1.2最小化误差227

11.1.3主成分分析与KL变换229

11.2概率PCA230

11.3核PCA232

11.4相关的谱方法234

11.4.1线性判别分析234

11.4.2典型相关分析237

思考与计算242

参考文献243

第12章确定性近似推理244

12.1近似推理的应用场景245

12.2拉普拉斯近似245

12.3变分平均场近似247

12.3.1基本理论247

12.3.2相关问题250

12.4期望传播近似253

12.4.1基本理论253

12.4.2相关问题256

思考与计算259

参考文献259

第13章随机近似推理260

13.1采样方法的评价标准261

13.2基本的采样方法262

13.2.1均匀采样变换263

13.2.2拒绝采样264

13.2.3重要性采样265

13.3马尔可夫链蒙特卡洛267

13.3.1MetropolisHastings采样267

13.3.2Gibbs采样269

13.3.3切片采样271

13.3.4哈密尔顿蒙特卡洛采样274

思考与计算277

参考文献278

第14章强化学习280

14.1基本概念与理论基础281

14.2规划: 有环境模型的预测与控制286

14.2.1策略迭代287

14.2.2值迭代288

14.3无环境模型的控制: 基于值函数290

14.3.1蒙特卡洛控制291

14.3.2时序差分控制: SARSA292

14.3.3基于Q学习的异策略控制293

14.3.4基于Q学习的深度Q网络控制295

14.4无环境模型的控制: 基于策略296

14.4.1蒙特卡洛策略梯度法和REINFORCE算法297

14.4.2行动者—评论者算法299

思考与计算300

参考文献301

附录A近邻法302

A.1最近邻法302

A.2最近邻法的错误率分析302

A.3k近邻法305

参考文献306

附录B决策树307

B.1基本原理307

B.2信息增益和信息增益比309

B.3代表性算法311

参考文献313

附录C向量微积分314

C.1向量微分314

C.1.1常用定义314

C.1.2求导规则316

C.2向量积分319

参考文献322

附录D随机变量的变换323

D.1概率密度中的变量变换323

D.2期望中的变量变换326

参考文献327

前言

最早系统地接触“模式识别与机器学习”是在2001年秋季清华大学开设的“模式识别”课堂上。从那时至今，我一直在模式识别与机器学习领域学习，并从事教学与科研工作。2007年参加工作后，我开始讲授研究生的“模式识别与机器学习”课程，后来也讲授高年级本科生的“模式识别与机器学习”课程。2009年在英国伦敦大学学院的访学进一步拓宽了我的知识面，也促使我萌发了关于该领域应该包含哪些核心内容的思考。在长期的教学与科研过程中，我一方面深感模式识别与机器学习领域发展之快，另一方面随着对该领域认识的加深，也逐渐有了撰写一本体现自己理解与认识的高质量教材的想法。2017年，与清华大学出版社协商后，开始着手具体写作工作。

在成书过程中，为力求做到每章内容丰富完整，两位编著者查阅了大量资料，也参考了所在的“模式识别与机器学习”实验室师生收集的素材，最终完成了对本领域核心内容的系统梳理。全书以贝叶斯学习的思想为潜在主线，从基础理论到典型模型与算法，再到近似推理，循序渐进地呈现模式识别与机器学习的核心知识体系。全书共14章和4个附录，除第1章引言外，第2～14章可以分为三部分: 第2～6章为第一部分，主要介绍贝叶斯学习和概率图模型，包括贝叶斯学习基础、逻辑回归、概率图模型基础、隐马尔可夫模型和条件随机场；第7～11章为第二部分，主要介绍典型场景（如监督/非监督、回归/分类/降维等）下的模型与算法，包括支持向量机、人工神经网络与深度学习、高斯过程、聚类、主成分分析与相关的谱方法；第12～14章为第三部分，主要介绍近似推理和强化学习，包括确定性近似推理、随机近似推理和强化学习。附录包括传统模式识别与机器学习方法中的近邻法和决策树，以及向量微积分和随机变量的变换等与本学科强相关的知识点。

对于书中的知识点，我们都有相关的研究积累或应用经验，这为本书的质量提供了基本保障。但是由于我们的理论水平和实践经验尚有局限性，书中难免存在不足之处，敬请读者能提出宝贵建议，后续有机会再版时将加以改进。

孙仕亮

2020年4月于上海