Spark精华零基础学习Spark 1.x应用开发系列课程 Spark生态系统学习视频教程

这门课讲的是哪个版本的 Spark

标题写得很明确：Spark 1.x。这一点必须先说清楚，因为它直接决定你该不该花时间。Spark 1.x 的 RDD 编程模型、DAGScheduler 的调度逻辑、Shuffle 的早期实现、以及以 standalone / YARN 为主的部署方式，和后面 2.x 引入 Dataset、3.x 的 AQE 自适应执行相比，差别不小。如果你手上正好有一批跑在 1.6 上的存量任务，或者需要读懂老项目的提交脚本和调优参数，那这套内容的对照价值就很直接。反过来，如果你只打算在新版本上做流批一体，那它更适合当历史演进参考，而不是主力学习材料。

技术栈与工程结构

课程围绕 Spark 生态的核心组件展开，主线是 RDD 的 transformations 与 actions，配套讲到 Spark SQL、Spark Streaming 以及和 HDFS、Hive 元数据的衔接。这些正是 1.x 时代一条完整数据链路的基本构成：批处理任务用 RDD 或 SQL 表达，流式场景用 DStream 切微批，落地到 HDFS 或数仓表。理解这条链路，比记住某个算子的签名更重要，因为调优时的绝大多数问题——数据倾斜、分区数不合理、序列化开销、Shuffle 落盘——都发生在组件交界处。

工程结构上，你需要重点建立三个认知：作业是怎么被 driver 拆成 stage 和 task 的，资源是怎么从集群管理器申请到 executor 的，以及持久化策略在什么场景下能真正避免重复计算。这三点在 1.x 里表现得更"裸露"，没有太多自动优化帮你兜底，反而更适合拿来打地基。

可复用的模块

• 提交与参数配置：如何组织 spark-submit 的资源配置、序列化器和内存参数，这套模板可以迁移到后续版本的集群提交里。
• RDD 算子组织：把宽依赖和窄依赖区分清楚，写出可并行的算子链，这是判断一段代码会不会触发全量 Shuffle 的基本功。
• 共享变量：广播变量和累加器的使用边界，前者解决小表 join 的重复传输，后者适合做计数类统计。
• SQL 与 DataFrame 的前身用法：在 1.x 里理解 Catalyst 优化器想解决什么问题，再回头看 2.x 的 Dataset 会顺畅很多。
• 流处理骨架：DStream 的窗口、批间隔、checkpoint 设置，是理解后续 Structured Streaming 的对照起点。
• 调优检查清单：数据倾斜、并行度、内存模型三块，可以整理成一份可反复使用的排查表。

怎么用这套资料自学

不要把它当纯视频课刷。建议的节奏是：每看完一个算子或一个组件的讲解，立刻在本地或单机伪分布式环境里跑一遍等价代码，然后刻意把 partition 数、内存参数改坏一次，观察日志里的 stage 划分和耗时变化。这种"先跑通、再跑坏"的方式，比顺着目录看完更能在脑子里留下调度过程的印象。

源码部分不要只读不写。找一个你熟悉的小数据集，用 RDD 和 SQL 两种方式各实现一遍同样的统计，对比执行计划和实际耗时，把差异记下来。这份记录本身就是一份能拿出手的技术笔记，比任何课后总结都实在。遇到看不懂的调度细节，回去翻 1.x 的官方编程指南对应章节，视频只作为引导，文档才是查证依据。

适合谁，不适合谁

比较适合的：有 Java 或 Scala 基础、需要在老版本集群上维护或迁移任务的开发者；想系统理解 RDD 调度与 Shuffle 原理、不愿只停留在调用 API 层面的人；以及准备把 1.x 逻辑平移到新版本、需要先摸清历史包袱的工程师。

不太适合的：完全零编程基础、想直接上手新版 Spark 做实时数仓的初学者；以及期望这套内容能覆盖云原生调度、湖仓一体等新方向的人。把 Spark 1.x 学扎实是理解后续演进的前提，但它本身不是终点，学的时候心里要有这条时间线。