极客时间-吴磊-零基础入门 Spark（完结）

吴磊这套《零基础入门 Spark》在结构上有一个很明确的设计：它不追求把 Spark 的 API 全部铺一遍，而是围绕「三步走」的主线组织内容——先搞清楚 Spark 到底解决什么问题，再落到 RDD / DataFrame 这两套编程抽象上写出能跑的任务，最后进入调优与典型场景。对已经能写 SQL、但对分布式执行模型没有直觉的开发者来说，这条线比直接啃官方文档要顺得多。

技术栈与版本取向

课程以 Scala 和 Spark 核心 API 为主体，同时覆盖 DataFrame / Spark SQL 这条更贴近日常数据开发的路子。内容涉及 RDD 的惰性求值、DAG 与宽窄依赖、Shuffle 的代价、分区与并行度、缓存与持久化策略，以及 Spark SQL 的执行计划与 Catalyst 优化器。这些概念是后面所有调优动作的前提：不理解 Shuffle 为什么会落盘、为什么 Stage 会在这里切开，看执行计划时基本只能靠猜。资料包里音频、讲义、PDF 三种形态并存，通勤时听讲解建立整体印象，坐下对着讲义和代码逐段核对，是比较合理的用法。

项目结构与可复用模块

整套内容的组织方式偏向「概念—代码—验证」的循环。每个知识点后面通常跟着一段可以在本地或小集群上直接运行的任务代码，从最基础的 WordCount 出发，逐步过渡到聚合、join、窗口统计这类真实场景里高频出现的操作。可复用的部分主要有三类：一是任务骨架，包括 SparkSession 的构建、参数配置、日志与异常处理，改几个参数就能套到自己的作业上；二是数据处理的中间层写法，比如如何把一段复杂逻辑拆成若干可测试的转换步骤；三是调优的排查思路，从 Spark UI 的 Stage 和 Task 指标反推瓶颈在哪。这几类东西比具体某段代码更值得反复看。

适合拿来对照实践，而不是空看

Spark 有一个特点：看讲解时觉得都懂，自己写的时候才发现分区数设得不合理、广播变量没用上、join 直接触发了全量 Shuffle。所以这份资料的正确打开方式是边看边跑——准备一份自己的数据集，哪怕是几十万行的日志，把课里的每个算子替换到自己的数据上验证一遍，观察 Stage 数量、Shuffle 读写量的变化。只看视频和讲义，很容易停留在「知道有这回事」的层面，遇到实际报错依然无从下手。特别放送里的用户故事也值得听一下，它讲的是学习节奏和心理预期的问题，对自学的人有参考价值。

自学路径建议

• 先过开篇部分，明确 Spark 在整个数据处理链路里的位置，避免把它当成一个单纯的 SQL 引擎。
• RDD 部分不要跳过。DataFrame 用起来更省事，但执行模型的地基在这里，跳过之后调优会缺少判断依据。
• 每学完一块，用 Spark UI 看一眼自己作业的执行情况，把「理论上的 Stage 划分」和「实际的 Stage 划分」对上。
• 把调优内容放到有实际慢任务之后再回头看，效果比一次性看完好得多。

整体来看，这份资料的价值在于它给出了一条可以自己走一遍的路径，代码量和讲解密度都比较克制，适合作为 Spark 的第一份系统材料，配合自己的数据集反复对照，比通读一遍就收起来要有用得多。