2021全新升级版-若泽数据Spark+Flink全栈训练营(高级班)

云计算

课程简介

这套 2021 升级版的若泽数据 Spark+Flink 全栈训练营（高级班），定位很明确：面向已经写过 MapReduce、跑过 Hive SQL、能搭起一个可用 Hadoop 集群的开发者，把计算引擎这一层从"会用 API"推到"知道内部怎么跑、线上出问题怎么查"。它的前置回顾部分（Linux、MySQL/SQL、Hadoop）虽然占了开头几节，但不是…

已有 7 人浏览发布 2026-08-05 更新 2026-09-23

技术栈构成与版本语境

课程的技术栈是典型的 2021 年前后国内大数据团队的主流组合：Hadoop 做存储与资源底座，Spark 承担批处理与离线数仓计算，Flink 承担流处理与实时链路。这个组合值得注意的地方在于，它没有把 Spark 和 Flink 割裂成两门独立课，而是放在同一个数据链路里对照讲——同一份业务指标，用 Spark Structured Streaming 做一遍，再用 Flink SQL 或 DataStream 做一遍，两者的水位线机制、状态管理、checkpoint 策略差异会在对比中暴露出来。这种对照式结构，比单独学某一个引擎更容易建立判断力：什么场景该选谁、延迟和吞吐怎么权衡、有状态计算的状态后端怎么配。

项目结构上的可复用点

从资料的组织方式看，内容是按"环境准备 → 引擎原理 → 编程模型 → 实战链路"铺开的，而非按 API 手册罗列。对开发者来说，真正能带走的可复用模块大致有三类：一是工程骨架，包括 Maven/Gradle 依赖组织、日志与配置分离、提交脚本和参数外置，这类东西自己搭容易踩坑，有现成参照可以省不少时间；二是算子与算子的组合模式，比如宽依赖触发 shuffle 的时机、Flink 中 keyBy 之后的状态访问方式，这些是写业务代码时反复用到的；三是调优与排障的切入点，包括 Spark 的 GC 与倾斜处理、Flink 的反压定位与 checkpoint 失败排查。第三类往往比前两类更值钱，因为线上问题不会照着文档出现。

怎么用这份资料自学

建议不要按顺序从头看到尾。更有效的方式是：先跳到 Spark 与 Flink 的编程模型章节，把自己手头一个真实的小需求（比如日志聚合或订单实时统计）试着用两个引擎各实现一次，遇到卡壳再回看对应原理部分。前置的 Linux、MySQL、Hadoop 回顾可以当作速查，需要时再看，不必逐节过。看视频的同时一定要把代码敲进 IDE 跑起来，尤其是 checkpoint、状态恢复、shuffle 分区数这类配置，不改参数是感受不到差异的。每学完一个模块，用一句话写下"这个组件解决什么问题、代价是什么"，比记笔记目录更有用。

适合谁，不适合谁

适合：有 Java/Scala 基础、写过 Hadoop 或 Hive、想补齐流处理能力并理解引擎内部机制的开发者；正在做离线转实时、或需要在 Spark 与 Flink 之间做技术选型的团队。
不太适合：完全没接触过分布式计算、连集群都没搭过的初学者；只想要一份 API 速查表、不打算动手跑代码的读者。

把这份资料当成对照实践的参照物，而不是需要"刷完"的清单，收益会更实在。

2021全新升级版-若泽数据Spark+Flink全栈训练营(高级班)

Spark与Flink全栈实战

编辑点评

深入Spark与Flink技术栈，涵盖大数据处理与流处理，适合有基础想进阶的大数据开发者。

⭐ 编辑推荐

全面升级，实战导向，掌握Spark与Flink全栈技能，助力大数据项目实战。

✨ 课程亮点

✦Spark与Flink全栈教学

✦实战项目驱动

✦深入浅出讲解大数据处理

课程目录

02Linux快速入门回顾二.mp4 112.38M
02Linux快速入门回顾一.mp4 126.86M
03MySQL&SQL快速入门回顾二.mp4 112.72M
03MySQL&SQL快速入门回顾一.mp4 108.12M
01-Scala是什么.mp4 94.07M
02-为什么要学Scala.mp4 29.33M
03-Java和Scala的关系.mp4 42.64M
04-Scala安装.mp4 147.78M
05-Scala快速入门.mp4 38.29M
06-Maven部署.mp4 108.24M
07-IDEA整合Maven本地开发环境搭建.mp4 51.74M
08-使用IDEA开发第一个Scala应用程序.mp4 52.56M
09-代码注释.mp4 120.14M
10-Scala标识符.mp4 27.58M
11-var和val.mp4 146.44M
12-读取终端数据.mp4 76.91M
01-上次课回顾.mp4 25.87M
02-数据类型概述.mp4 93.42M
03-整型.mp4 18.66M
04-浮点类型.mp4 13.33M
05-Char类型.mp4 20.18M
06-Boolean类型.mp4 8.92M
07-类型转换.mp4 20.29M
08-字符串操作.mp4 103.94M
09-运算符.mp4 28.03M
10-if语句.mp4 86.29M
11-while循环.mp4 100.22M
12-跳出while循环.mp4 43.87M
13-for循环.mp4 131.23M
14-function的定义和使用.mp4 104.63M
15-默认参数.mp4 41.82M
16-命名参数.mp4 16.33M
17-可变参数.mp4 63.41M
18-递归.mp4 70.60M
01-上次课回顾.mp4 33.88M
02-面向对象三大特性.mp4 11.83M
03-类和对象.mp4 23.45M
04-类的定义和使用.mp4 207.29M
05-占位符.mp4 28.01M
06-构造器.mp4 163.98M
07-继承和重写.mp4 108.28M
08-抽象类.mp4 111.59M
09-伴生类和伴生对象.mp4 132.88M
10-case class.mp4聽聽70.08M
11-导包.mp4 62.91M
12-package object.mp4聽聽62.35M
13-Type.mp4聽聽237.02M
14-枚举.mp4 29.85M
15-单Trait.mp4 61.14M
16-多trait.mp4 59.10M
17-多Trait的顺序问题.mp4 79.84M
18-动态混入.mp4 22.76M
19-App Trait.mp4聽聽49.38M
01-jUnit快速入门.mp4 254.21M
02-API操作之创建文件夹.mp4 148.44M
03-API操作之创建文件夹02.mp4 34.83M
04-API操作之参数设置优先级问题.mp4 198.48M
05-API操作之代码重构.mp4 60.61M
06-API操作之下载.mp4 40.18M
07-API操作之移动.mp4 21.80M
08-API操作之文件列表.mp4 76.86M
09-API操作之删除.mp4 17.14M
10-API操作之IO流操作.mp4 76.31M
01-上次课回顾.mp4 10.12M
02-模板方法模式.mp4 50.46M
03-HDFS API编程需求分析.mp4 43.62M
04-HDFS API编程实现01.mp4 72.96M
05-HDFS API编程实现02.mp4 159.00M
06-HDFS API编程实现03.mp4 34.24M
07-HDFS API编程实现04.mp4 119.97M
08-MapReduce概述.mp4 77.08M
09-MapReduce宏观上的流程(一定要掌握).mp4 37.71M
10-WC开发之Mapper和Reducer.mp4 175.27M
11-WC开发之Driver及测试.mp4 122.48M
12-WC开发之打包到服务器运行.mp4 100.63M
01-上次课回顾.mp4 40.15M
02-Mapper类源码分析.mp4 91.83M
03-Reducer类源码分析.mp4 21.53M
04-Debug方式运行MapReduce观察内部参数值.mp4 87.18M
05-Hadoop序列化接口Writable.mp4 115.98M
06-流量统计开发01.mp4 187.43M
07-流量统计开发02.mp4 129.18M
08-认识MR执行流程中核心类.mp4 76.32M
09-MapTask个数01.mp4 65.47M
10-MapTask个数02.mp4 253.71M
11-FileInputFormat案例.mp4 108.21M
12-KeyValueTextInputFormat案例.mp4 306.90M
13-NLineInputFormat案例.mp4 176.85M
14-DBInputFormat案例.mp4 211.84M
01-上次课回顾.mp4 53.64M
02-Partitioner.mp4聽聽184.22M
03-Combiner.mp4聽聽109.27M
04-Counter.mp4聽聽160.41M
05-全局排序.mp4 254.98M
06-分区排序.mp4 59.26M
07-OutputFormat.mp4聽聽56.30M
08-自定义OutputFormat.mp4 291.39M
09-groupby.mp4聽聽149.35M
10-distinct.mp4聽聽91.56M
01-上次课回顾.mp4 27.71M
02-ReduceJoin原理.mp4 129.60M
03-ReduceJoin之自定义序列化类.mp4 55.94M
04-ReduceJoin之Mapper开发.mp4 211.27M
05-ReduceJoin之Reducer开发.mp4 233.37M
06-ReduceJoin之小结.mp4 15.94M
07-MapJoin原理.mp4 24.65M
08-MapJoin代码实现.mp4 384.27M
09-压缩.mp4 159.75M
10-解压缩.mp4 69.09M
11-MR整合压缩.mp4 205.32M
12-提交流程源码分析01.mp4 180.93M
13-提交流程源码分析02.mp4 351.22M
01-作业提交流程源码总结.mp4 304.21M
02-MR官网解读.mp4 247.62M
03-MR官网解读续.mp4 105.99M
04-MR过程.mp4 90.87M
05-MR涉及到的参数.mp4 266.50M
021-Hive01.mp4聽聽434.63M

适合人群

大数据开发工程师
数据分析师
有志于大数据领域的技术人员

🎯 学习收获

掌握Spark与Flink核心概念
学会大数据处理与流处理
提升大数据项目实战能力

🎉 祝您学习愉快！