- Spark入门无从下手：以Scala语言为基础，从环境搭建到核心编程逐步讲解，帮助零基础读者快速入门Spark。
- Scala语言不熟悉：系统介绍Scala基础语法、面向对象和函数式编程，为学习Spark打下坚实语言基础。
- RDD编程理解困难：深入讲解RDD的创建、操作、持久化和分区机制，配以综合实例帮助读者掌握核心编程模型。
- 各组件使用不熟练：涵盖Spark SQL、Spark Streaming、Spark MLlib等核心组件，帮助读者全面掌握Spark生态。
- 缺乏动手实践：每章配有实验环节和习题，从Linux安装到集群搭建，让读者在动手中真正掌握Spark编程。
★★★
中级
入门初级中级进阶高级
- 大数据初学者：对大数据技术感兴趣但缺乏基础，希望系统学习Spark编程的入门者。
- 计算机专业学生：正在学习大数据相关课程，需要一本理论与实践结合的教材作为课程配套。
- Java/Scala开发者：已有编程基础，希望转型大数据开发，学习Spark编程技术的工程师。
- 数据分析人员：需要处理大规模数据集，希望掌握Spark进行分布式数据处理的分析师。
- 高校教师：讲授大数据或Spark相关课程，需要配套实验和习题的教学参考书。
- 先学Scala再学Spark：第2至4章的Scala语言基础是后续学习的前提，务必先扎实掌握。
- 边学边做实验：每章配套的实验环节非常重要，建议在虚拟机或集群环境中动手完成每个实验。
- 重点攻克RDD编程：第5至8章的RDD编程是Spark的核心，需要反复练习，理解惰性求值和血缘关系。
- 按需选学组件：Spark SQL、Streaming、MLlib可根据实际需求选择性深入，但建议至少各跑通一个实例。
- 完成综合项目：学完全书后，尝试用Spark完成一个端到端的数据处理项目，将各组件知识融会贯通。
- 掌握Scala编程语言：能够使用Scala进行面向对象和函数式编程，为Spark开发打下基础。
- 理解Spark运行原理：掌握Spark架构设计、RDD运行机制和集群部署方式。
- 熟练进行RDD编程：能够使用RDD API进行分布式数据处理，包括转换和行动操作。
- 掌握Spark生态组件：学会使用Spark SQL、Spark Streaming和Spark MLlib解决实际问题。
- 具备独立开发能力：能够独立搭建Spark集群环境并开发、打包、提交Spark应用程序。
📖 书籍简介
| 商品基本信息，请以下列介绍为准 | |
| 商品名称： | Spark编程基础:Scala版:Scala edition 计算机与互联网 书籍 |
| 作者： | 林子雨，赖永炫，陶继平编著 |
| 定价： | 49.8 |
| 出版社： | 人民邮电出版社 |
| 出版日期： | 2018-08-01 |
| ISBN： | 9787115488169 |
| 印次： | 1 |
| 版次： | 1 |
| 装帧： | 平装 |
| 开本： | 16开 |
| 内容简介 | |
| 本书以Scala作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。 |
| 目录 | |
| 第1章 大数据技术概述 1 1．1 大数据的概念与关键技术 2 1．1．1 大数据的概念 2 1．1．2 大数据关键技术 2 1．2 代表性大数据技术 4 1．2．1 Hadoop 4 1．2．2 Spark 8 1．2．3 Flink 10 1．2．4 Beam 11 1．3 编程语言的选择 12 1．4 在线资源 13 1．5 本章小结 14 1．6 习题 14 实验1 Linux系统的安装和常用命令 15 一、实验目的 15 二、实验平台 15 三、实验内容和要求 15 四、实验报告 16 第2章 Scala语言基础 17 2．1 Scala语言概述 18 2．1．1 计算机的缘起 18 2．1．2 编程范式 19 2．1．3 Scala简介 20 2．1．4 Scala的安装 21 2．1．5 HelloWorld 21 2．2 Scala基础知识 23 2．2．1 基本数据类型和变量 23 2．2．2 输入/输出 26 2．2．3 控制结构 28 2．2．4 数据结构 31 2．3 面向对象编程基础 37 2．3．1 类 37 2．3．2 对象 42 2．3．3 继承 47 2．3．4 参数化类型 50 2．3．5 特质 52 2．3．6 模式匹配 55 2．3．7 包 58 2．4 函数式编程基础 59 2．4．1 函数的定义与使用 60 2．4．2 高阶函数 61 2．4．3 闭包 62 2．4．4 偏应用函数和Curry化 62 2．4．5 针对容器的作 64 2．4．6 函数式编程实例 69 2．5 本章小结 70 2．6 习题 70 实验2 Scala编程初级实践 71 一、实验目的 71 二、实验平台 71 三、实验内容和要求 72 四、实验报告 75 第3章 Spark的设计与运行原理 76 3．1 概述 77 3．2 Spark生态系统 78 3．3 Spark运行架构 79 3．3．1 基本概念 79 3．3．2 架构设计 80 3．3．3 Spark运行基本流程 81 3．3．4 RDD的设计与运行原理 82 3．4 Spark的部署方式 91 3．5 本章小结 92 3．6 习题 93 第4章 Spark环境搭建和使用方法 94 4．1 安装Spark 95 4．1．1 基础环境 95 4．1．2 安装文件 95 4．1．3 配置相关文件 96 4．1．4 Spark和Hadoop的交互 97 4．2 在spark-shell中运行代码 97 4．2．1 spark-shell命令 98 4．2．2 启动spark-shell 99 4．3 开发Spark独立应用程序 99 4．3．1 安装编译打包工具 100 4．3．2 编写Spark应用程序代码 101 4．3．3 编译打包 101 4．3．4 通过spark-submit运行程序 104 4．4 Spark集群环境搭建 104 4．4．1 集群概况 105 4．4．2 搭建Hadoop集群 105 4．4．3 在集群中安装Spark 106 4．4．4 配置环境变量 106 4．4．5 Spark的配置 106 4．4．6 启动Spark集群 107 4．4．7 关闭Spark集群 107 4．5 在集群上运行Spark应用程序 108 4．5．1 启动Spark集群 108 4．5．2 采用独立集群管理器 108 4．5．3 采用Hadoop YARN管理器 109 4．6 本章小结 110 4．7 习题 111 实验3 Spark和Hadoop的安装 111 一、实验目的 111 二、实验平台 111 三、实验内容和要求 111 四、实验报告 112 第5章 RDD编程 113 5．1 RDD编程基础 114 5．1．1 RDD创建 114 5．1．2 RDD作 115 5．1．3 持久化 121 5．1．4 分区 122 5．1．5 一个综合实例 126 5．2 键值对RDD 128 5．2．1 键值对RDD的创建 128 5．2．2 |
| 编辑 | |
| 本书是厦门大学作者团队长期经验总结的结晶，是在厦门大学《大数据技术原理与应用》入门级大数据教材的基础之上编写的。为了确保教程质量，在编著出版纸质教材之前，实验室已经于2016年10月通过实验室官网免费发布共享了简化版的Spark在线教程和相关教学资源，同时，该在线教程也已经用于厦门大学计算机科学系研究生的大数据课程教学，并成为全国高校大数据课程教师培训交流班的授课内容。实验室根据读者对在线Spark教程的大量反馈意见以及教学实践中发现的问题，对Spark在线教程进行了多次修正和完善，所有这些前期准备工作，都为纸质教材的编著出版打下了坚实的基础。 披荆斩棘，在大数据丛林中开辟学习捷径 填沟削坎，为快速学习Spark 技术铺平道路 深入浅出，有效降低Spark 技术学习门槛 资源全面，构建一站式在线服务体系 |
📑 章节目录
- 大数据技术概述：概念、关键技术及代表性框架
- Scala语言基础：数据类型、控制结构与数据结构
- Scala面向对象编程：类、对象、继承与特质
- Scala函数式编程：高阶函数、闭包与容器操作
- Spark的设计与运行原理：架构、RDD机制与部署方式
- Spark环境搭建和使用方法：安装配置与集群部署
- RDD编程基础：创建、操作、持久化与分区
- 键值对RDD编程：常用操作与综合实例
- Spark SQL：结构化数据处理与查询
- Spark Streaming：实时流数据处理
- Spark MLlib：机器学习库的使用与实践
- 综合实验：从环境搭建到应用开发的完整实践
