2018尚硅谷Hadoop生态圈全部关键技术+项目实战 视频教程

这套 2018 尚硅谷 Hadoop 生态圈视频，本质是一份「离线大数据平台搭建与离线计算」的完整工程记录。它不讲概念科普，而是把 HDFS、MapReduce、YARN 到 Hive、HBase、Flume、Sqoop、Kafka、Azkaban 这些组件的安装配置、Shell 操作、Java API 调用和协作关系逐个走一遍，最后用电商行为日志的采集与离线分析串起来。放到今天看，很多版本已经偏老，但它保留了一个现在教程普遍省略的东西：集群是怎么从零配起来、配错了怎么排查的完整过程。

技术栈与版本形态

课程锚定的是 Hadoop 2.x 时代 CDH 风格的手工部署路线，核心是原生 Apache 组件而非发行版一键安装。这意味着你会反复接触 core-site.xml、hdfs-site.xml、yarn-site.xml 这些配置项，接触 SSH 免密、时间同步、防火墙与主机名映射这些集群前置条件。ZooKeeper 作为协调服务贯穿 HBase 和 Kafka 部分，Hive 走的是元数据存 MySQL、计算下推 MapReduce 的传统架构。理解这条链路的价值在于：后面的 Spark、Flink、数据湖方案都是在它之上做替换或提速，底层存储与资源调度的模型没有根本变化。

项目结构怎么拆

生态圈组件多，直接顺着看容易散。可按三层去归置：存储层 HDFS 与 HBase，计算与调度层 MapReduce、YARN、Hive，采集与流转层 Flume、Sqoop、Kafka、Azkaban。三层之间靠数据流向连接——日志经 Flume 落到 HDFS，Sqoop 在 MySQL 与 HDFS/Hive 之间搬数据，Kafka 承接实时消息，Azkaban 把按天跑的离线任务编排成工作流。具体到项目实战部分，就是围绕用户行为日志做 ETL 与指标统计，把前面每个组件放进真实调用位置，而不是孤立地学命令。

可复用的模块与代码

• HDFS 的 Java API 封装：读写、合并小文件、自定义输入输出格式，能直接改成采集程序的底层。
• MapReduce 模板：自定义 Writable、Partitioner、Combiner、GroupingComparator，尤其是二次排序和多 Job 串联的写法，是很多离线指标计算的原型。
• Hive 侧：建表语句、分区与分桶设计、自定义 UDF，以及用 HQL 替代手写 MR 的改写思路。
• Flume 拦截器与自定义 Source/Sink，Kafka 生产者消费者样例，Azkaban 的 job 文件与依赖配置。

这些片段单独拎出来都能放进自己的项目骨架里，比只看运行结果更有复用价值。

自学路径与取舍

建议按存储、计算、采集的顺序推进，每学完一个组件就手动搭一遍伪分布式或三节点集群，把报错日志留下来。重点放在配置项含义和组件间依赖上，命令可以查文档，配置逻辑查不出来。需要说明的是，这批视频录制于 2018 年，JDK、Hadoop、Hive 与 Kafka 的版本都偏旧，部分 API 在新版本里已废弃，HBase 的部分机制描述也和现在有出入。用它的正确方式是当工程参照：看集群怎么搭、数据怎么流、任务怎么排，遇到具体版本差异再对照官方文档更新。当作唯一依据逐字照搬，容易在环境上卡住。把它和一份较新的发行版文档配合使用，效率更高。