【马士兵】Spark体系|高清无秘

云计算

课程简介

突破 API 调用壁垒，深入 Spark 内核逻辑许多开发者在使用 Spark 时，往往停留在调用标准 API 的层面，一旦遇到生产环境中的数据倾斜、内存溢出或作业卡顿，便难以从底层机制入手进行诊断。这套资料的核心价值在于源码级的拆解，它不满足于展示“怎么用”，而是聚焦于“为什么这样跑”。通过剖析 Spark 生态体系中的关键组件，课程帮助学习者建立对引…

已有 1 人浏览发布 2026-10-07 更新 2026-10-07

突破 API 调用壁垒，深入 Spark 内核逻辑

许多开发者在使用 Spark 时，往往停留在调用标准 API 的层面，一旦遇到生产环境中的数据倾斜、内存溢出或作业卡顿，便难以从底层机制入手进行诊断。这套资料的核心价值在于源码级的拆解，它不满足于展示“怎么用”，而是聚焦于“为什么这样跑”。通过剖析 Spark 生态体系中的关键组件，课程帮助学习者建立对引擎内部运作机制的直观认知，从而解决“知其然不知其所以然”的技术瓶颈。这门课并非简单的语法速成，而是面向希望提升系统调优能力、理解分布式计算原理的中高级 Java 后端或大数据开发人员的进阶指南。它要求读者具备扎实的 Java 基础，并对 Hadoop 生态中的 HDFS 和 MapReduce 有基本概念，否则在理解 Spark 与底层集群的交互时会感到吃力。对于仅熟悉 Python 或从未接触过 JVM 体系的学习者，建议先补齐 Java 内存模型基础知识，再进入本课程的源码阅读环节，以避免在对象序列化、GC 停顿等概念上产生认知断层。

构建从理论到调优的完整链路

建议的学习路径应遵循由微观到宏观的顺序。首先深入 RDD 的依赖关系与 DAG 划分逻辑，这是理解作业并行度的基础；接着重点攻克内存管理模块，理清堆内堆外内存的动态分配策略，以及统一内存模型下计算与存储资源的竞争机制。随后，将视角转向 Spark SQL 的 Catalyst 优化器，分析逻辑计划到物理计划的转换过程，理解向量化执行如何提升查询效率。不要忽视流处理部分，需结合微批架构理解状态管理的实现细节。学完这些内容后，你应能独立应对复杂的 ETL 场景：能够根据数据特征手动调整分区策略以消除倾斜，通过阅读日志精准定位 OOM 根源并优化 JVM 参数，甚至针对特定场景自定义序列化器以提升性能。资料包中的源码讲解部分需配合本地克隆的 Spark 源码使用，建议在使用 IDE 调试功能跟踪 `DAGScheduler` 和 `TaskScheduler` 的执行流，将视频中的理论映射到具体的类和方法上。实践时，可构建一个包含多源数据融合的微型数仓项目，强制使用 SQL 引擎完成任务，并手动推导其执行计划，以此验证对底层优化逻辑的理解深度，真正实现从“调包侠”到“调优专家”的转变。

课程介绍

本课程来自马士兵，（高清完结版），是一门大数据之Spark体系视频教程，本课程内容全面完整，涵盖了Spark生态体系的各个技术点。源码级的讲解，一次听不太懂，多复习几次做好课前知识预习，讲得非常透彻。马士兵教育创立6年来，致力于JAVA技术培训，颇受信赖，快来加入一起学习吧。

课程目录

├──01_scala语言、函数式编程、数据集处理、iterator设计模式实现/
├──02_scala语言、流程控制、高级函数/
│ └── [1.3G] 01_scala语言、流程控制、高级函数.mp4
├──03_scala语言、集合容器、iterator设计模式源码分析/
│ └── [1.7G] 01_scala语言、集合容器.mp4
├──04_scala语言、match、case class、implicitt、spark wordcount/
├──05_spark-core、复习hadoop生态、梳理术语、hadoopRDD 源码分析/
│ └── [1.8G] 01_spark-core、复习hadoop生态、梳理术语.mp4
├──06_spark-core、wordcount案例源码分析、图解/
│ └── [1.9G] 01_spark-core、wordcount案例源码分析、图解.mp4
├──07_spark-core、集合操作API、pvuv分析、RDD源码分析/
│ └── [1.9G] 01_spark-core、集合操作API、pvuv分析.mp4
├──08_spark-core、聚合计算API、combineByKey、分区调优/
├──09_spark-core、二次排序、分组取TopN、算子综合应用/
│ └── [2.0G] 01_spark-core、二次排序、分组取TopN.mp4
├──10_spark-core、集群框架图解、角色功能介绍、官网学习 、搭建/
│ └── [1.9G] 01_spark-core、集群框架图解、角色功能介绍.mp4
├──11_spark-core、history服务、standaloneHA、资源调度参数/
├──12_spark-core、基于yarn的集群搭建、配置、资源调度参数、优化jars/
│ └── [1.3G] 01_spark-core、基于yarn的集群搭建、配置.mp4
├──13_spark-core-源码、RpcEnv、standaloneMaster启动分析/
├──14_spark-core-源码、Worker启动、sparksubmit提交、Driver启动/
├──15_park-core-源码、Application注册、Executor资源申请/
├──16_spark-core-源码、sparkContext、DAGScheduler、stage划分/
├──17_spark-core-源码、TaskScheduler、Executor运行Task、SparkEnv/
├──18_spark-core-源码、MemoryManager、BlockManager/
├──19_spark-core-源码、Dependency、SortShuffleManager/
├──20_spark-core-源码、SortShuffleWriter、内存缓冲区buffer/
├──21_spark-core-源码、SortShuffleWriter、内存缓冲区buffer/
├──22_spark-core-源码、UnsafeShuffleWriter、Tungsten、Unsafe、堆外/
├──23_spark-core-源码、ShuffleReader、Tracker、Scheduler完整调度/
├──24_spark-core-源码、RDD持久化、检查点、广播变量、累加器/
├──25_spark-core-源码、RDD持久化、检查点、广播变量、累加器/
├──26_spark-sql、大数据中的SQL组成原理/
│ └── [1.7G] 01_spark-sql、大数据中的SQL组成原理.mp4
├──27_spark-sql、datafram到dataset开发/
├──28_spark-sql、整合hive的metastore搭建企业级数仓1/
├──29_spark-sql、整合hive的metastore搭建企业级数仓2/
├──30_spark-sql、复杂sql、函数、自定义函数、开窗over函数、OLAP/
├──31_spark-sql-源码、sql解析、dataset到rdd的执行计划/
├──32_spark-sql-源码、antlr4的sql解析、AST语法树的逻辑到物理转换/
├──33_spark-sql-源码、逻辑计划、优化器、物理计划、转换RDD/
├──34_spark-streaming、流式计算之微批计算原理及standalone/
├──35_spark-streaming、api、ha、检查点、窗口等机制/
├──36_spark-streaming、整合MQ-kafka开发/
├──37_spark-streaming、源码分析、流式微批任务的调度原理/
├──38_spark-streaming/