mksz357 - Spark进阶 大数据离线与实时项目实战 Spark-Hbase-Redis-Hadoop 大技术栈的企业级应用

课程定位与适用边界

这是一门面向具备一定大数据开发基础的同学的进阶实战课。它并非从零讲起的入门教程，而是将 Hadoop 生态、Spark 离线计算、Spark 实时计算、HBase 以及 Redis 串联起来，解决企业中常见的数据仓库分层构建与实时数仓建设问题。如果你的技术栈还停留在只会写 Hive SQL 或者对 Spark 内存计算模型不够熟悉，建议先补齐基础，再来看这门课。

课程的核心价值在于“大技术栈整合”。市面上很多教程只讲 Spark 本身，很少涉及它与 HBase 的读写交互，以及如何利用 Redis 做低延迟缓存或实时指标计算。这门课填补了这一空白，适合那些希望在简历上展现“能独立搭建离线+实时混合架构”能力的开发者。

重点模块与学习建议

由于课程包含离线与实时两条主线，建议你不要试图一次性全部啃完，而是根据目标岗位拆分优先级。

首先，务必夯实 Spark 离线部分。这是数据开发的基石，重点理解 DataFrame API 的使用、性能调优以及与其他组件的集成。如果你发现课程中关于 RDD 底层的讲解过于冗长，可以适度跳过，直接关注业务逻辑层面的代码实现。其次，对于实时部分，重点关注 Kafka 消息接入后的 Spark Streaming 或 Structured Streaming 处理逻辑。这里通常会涉及窗口函数、水位线处理等难点，是区分初级与中级工程师的关键点。

在 HBase 和 Redis 的部分，不要只停留在理论配置。你需要重点看代码是如何通过 Spark 批量写入 HBase，以及如何通过 Redis 实现热点数据的实时查询。这两块是企业落地中最容易踩坑的地方，也是面试中高频提问的场景。

学完能独立做什么

完成课程核心内容后，你应该能够独立完成中小型企业的离线数仓 ETL 开发，并具备搭建基于 Kafka+Spark 的实时数据流处理系统的能力。具体表现为：能够设计从数据采集到最终报表生成的完整链路，能够解决 Spark 作业中的内存溢出与数据倾斜问题，并能将计算结果高效地写入 HBase 供查询或存入 Redis 供实时大屏展示。

配套资料主要用于课后练习与复现代码。建议在观看视频时同步动手敲代码，特别是大数据组件的配置环节，环境报错是常态，排查过程本身就是最好的学习。不要只看文档，要确保自己的本地或虚拟机环境中能够跑通从 Hadoop 到 Spark 再到 HBase/Redis 的全流程数据闭环。