慕课体系-大数据工程师2024版（完结38周）

这套大数据工程师课程以 38 周为周期，从 Linux 基础一直铺到 Hadoop、Hive、HBase、Scala 等生态组件。对已经能写代码、但缺少数据侧工程训练的开发者来说，它的价值不在视频本身，而在于可以对照每一周的主题去筛出可复用的模块与项目骨架。

技术栈覆盖：从单机到集群的完整链路

课程前半段以 Linux 与 Hadoop 为主线。第 1 周把 Linux 操作和脚本能力独立成篇，实际是在补后续所有分布式组件的前置依赖；第 2 到第 5 周围绕 HDFS 与 MapReduce 展开，从使用方式过渡到核心进程剖析。这条线的判断很直接：如果只想会调 API，前几周能快速过；如果要弄明白 NameNode、DataNode、ResourceManager 之间的交互，进程剖析那部分才是值得反复看的地方。第 6 周给出的企业级解决方案，是把前面零散知识点落到具体场景上的衔接点。

数据采集与仓库：Flume、Hive 的工程化用法

第 7 周 Flume 与第 8、9 周 Hive 构成采集加建模的组合。Flume 讲的是数据怎么进集群，Hive 讲的是进来之后怎么组织成可查询的仓库结构。Hive 部分拆成入门与扩展两周，说明它没有停在建表、写 SQL 的层面，扩展内容通常涉及分区、分桶、调优或与外部系统的对接。对照实践时，可以把这两块合并成一个最小数据管道：Flume 采集到 HDFS，Hive 外部表挂上去做查询，跑通一遍比单看某一周更有效。

NoSQL 与分析引擎：HBase、Impala 的位置

第 10 周 HBase 和第 11 周 Impala 分别对应随机读写与分析查询两类需求。HBase 放在 Hive 之后讲，是因为它解决的是 Hive 不擅长的低延迟点查；Impala 则用来对照 Hive 的查询执行方式。这两块在课程里起到横向扩展技术面的作用，自学者可以按自己项目里到底是写多还是查多，决定先深挖哪一个。第 12 周用一周时间过 Scala，是为后面 Spark 系列做语言铺垫，节奏偏快，适合已经会 Java 或其他 JVM 语言的人快速迁移。

怎么用这套资料对照实践

• 按周建立可运行的最小环境，不要等全部看完再搭集群，Hadoop 与 Hive 部分尤其适合边看边起服务。
• 把每类组件抽成一个可替换模块：采集、存储、仓库、计算，项目结构上分层，换组件时不牵动全局。
• 进程剖析、扩展内容、企业级方案这几类周次重点看思路，代码可以按自己环境重写。
• Scala 这类语言周只做语法对照，遇到 Spark 相关实现再回头补细节，避免卡在语言本身。

38 周的排布偏系统，但真正决定学习效果的是有没有一条自己的数据链路在跑。把它当工程参照，按模块拆开复用，比按顺序刷完更接近实际工作里的做法。