课程主题：Spark 2.2 实时流计算与 Spark Streaming 工程实践

这门课围绕 Spark 2.2 版本下的实时流计算展开，核心是 Spark Streaming 的编程模型与项目落地方式。它面向的是一个很具体的问题：如何用 DStream 对接 Kafka、Flume 等数据源，完成实时数据的接入、处理、窗口聚合和结果输出，最终搭建一条可运行的数据处理链路。

课程内容不是停留在 API 演示层面，而是以项目实战为主线，给出完整的源码和讲义。34 课的体量不算大，但结构上覆盖了从环境搭建、核心原理、代码实现到项目部署的完整过程。适合想系统掌握 Spark Streaming，而不是只会跑官方示例的开发者在本地照着做一遍。

课程解决什么问题，适合什么基础

如果你已经写过简单的 Spark 批处理程序，但面对实时计算场景时不知道怎么组织代码——比如怎么消费 Kafka 数据、怎么设计窗口计算逻辑、怎么处理状态累积、怎么保证任务重启后数据不丢，这门课就是针对这些具体问题展开的。它会讲清楚 Spark Streaming 内部如何把连续的数据流切割成微批次，Discretized Stream 的运作机制，以及 Receiver 模式与直连 Kafka 方式的区别和选型依据。

基础方面，建议具备 Java 或 Scala 的基本语法能力，至少要能读懂 Scala 写的 Spark 代码。同时需要了解 Spark Core 的 RDD 概念，因为 DStream 本质上是 RDD 的序列。完全没有 Spark 基础就直接看实时计算部分会有点吃力，课程里的环境搭建和入门铺垫有帮助，但它默认你已经知道 Spark 是做什么的。

建议优先看哪几块内容

拿到资料后不建议按顺序从第一课啃到最后一课，那样容易在环境细节上消耗太多精力。更合理的路径是：先看课程前半部分关于 Spark Streaming 核心原理和 DStream 编程模型的章节，把 input DStream、transform 操作、窗口函数这几个概念弄清楚，这是后面所有项目代码的基础。

接着跳转到 Kafka 对接的部分，重点学直连方式的代码实现和参数配置，这是实时计算项目中最常用也最容易出问题的环节。然后再看项目实战主体，留意课程里怎么拆分业务模块的——数据采集层、处理逻辑层、结果输出层各自的职责边界是什么，状态管理放在哪个位置，checkpoint 的目录和恢复策略是怎么设置的。课程里如果涉及 Flume 和 HDFS 的联动，也不要跳过，生产环境里这套组合出现的频率相当高。

学完能独立做什么，资料怎么配合练习

学完并消化项目源码之后，你应该有能力独立搭建一套基于 Spark Streaming 的实时数据处理管道。比如：从 Kafka 消费日志数据，做实时过滤清洗，按时间窗口统计 PV/UV，把结果写入 MySQL 或 Redis 供前端展示；或者做一个实时预警任务，对超过阈值的数据即刻输出告警信息。这些典型场景课程里基本都有对应实现。

练习方式上，建议把源码当作调试对象而不是阅读材料。先在自己机器上把项目跑起来，用测试数据观察输出结果，然后改参数、改逻辑，比如调整窗口长度、改变状态更新策略、切换数据源，看运行行为有什么变化。遇到问题再回到讲义对应章节找原理解释，