零基础学习Spark 1.x应用开发系列课程 Spark 精华培训视频教程 38讲视频+企业培训PDF

这套资料的主题很明确：Spark 1.x 时代的应用开发入门。它由 38 讲视频和企业培训用的 PDF 讲义组成，面向的是没有任何 Spark 基础、但已经具备基本编程概念的人。如果你正在维护一套遗留的大数据平台，或者需要读懂老项目里基于 Spark 1.x 写的批处理代码，这份资料的价值不在于"新"，而在于它把那个版本的编程模型讲得足够细。

技术栈定位：为什么要专门看 1.x

Spark 1.x 与 2.x 之后最大的分水岭是 RDD 与 DataFrame/DataSet 的关系。1.x 时期，RDD 是绝对核心，DataFrame 还处于实验阶段，Spark SQL 也远没有后来那么成熟。这意味着这份资料会把大量篇幅放在 RDD 的转换与行动操作、宽窄依赖、DAG 划分、Shuffle 机制上——这些恰恰是理解 Spark 执行模型的地基。很多用 2.x、3.x 的人能写出能跑的作业，却说不清一个 groupByKey 到底触发了什么，看 1.x 的课程反而更容易把这条链路补齐。

另一个现实因素是环境。Spark 1.x 默认跑在 Scala 2.10/2.11 上，依赖 Hadoop 2.x，构建工具以 Maven 和 sbt 为主。这套技术组合在今天的培训班里基本不会再讲，但在一些金融、电信的存量系统里仍然活着。对照这套资料去读老代码，比自己硬啃官方文档效率高。

内容结构：视频与 PDF 的分工

38 讲视频的节奏通常是：先交代运行模式（local、standalone、on YARN）和提交作业的方式，再进入 RDD 编程，然后覆盖 Spark SQL、Streaming、MLlib 这些组件，最后收在一个完整的应用案例上。企业培训 PDF 的作用不同，它更像是课堂提纲和要点提炼，适合在看完视频后快速回查概念定义、API 签名和配置项。

建议的使用方式是把两者拆开用：视频用来跟敲代码，PDF 用来做索引。不要指望 PDF 能替代视频里的演示过程，也不要指望视频能像文档一样方便检索。这是两套材料的天然分工。

可复用的工程模块

从工程角度看，这套资料里真正能沉淀下来复用的东西有几类：

• 作业提交与参数解析的骨架——SparkSubmit 的参数怎么传、配置怎么从外部注入，这套模式在后续版本里变化不大。
• RDD 算子的组合套路，尤其是 pair RDD 上的聚合、连接、分区控制，这些写法在 DataSet API 里仍有对应物。
• Spark Streaming 的微批处理结构，包括窗口操作和 checkpoint 的设置方式，是理解后来 Structured Streaming 的前提。
• 本地调试与集群调试的切换方法，这部分经验在真实项目里比 API 本身更值钱。

把这些抽出来单独整理，比按视频顺序记笔记更有长期价值。

自学路径建议

如果目标是能上手改代码，路径可以这样安排：先用两三天把运行模式和提交方式跑通，确保本地能起一个 standalone 集群并成功提交作业；然后集中攻 RDD，逐个算子写小样例验证行为，重点观察 Shuffle 前后的分区变化；接着看 SQL 和 Streaming 部分，注意它们和 RDD 的衔接点；最后跟着案例走一遍完整流程，自己改一处逻辑再跑一次。

需要提醒的是，学完之后不要停在 1.x。RDD 的地基打牢后，转 DataFrame/DataSet 和 Structured Streaming 会顺很多，但 API 差异、执行优化（Catalyst、Tungsten）这些是 1.x 资料覆盖不到的，需要另找材料补齐。这套东西适合当参照系和存量系统的对照手册，不适合当作唯一的学习终点。