【马士兵】大数据全栈工程师一班|高清完结

云计算

课程简介

重构传统 Java 向大数据全栈的技术跃迁这门课程核心解决的是传统 Java 后端开发人员在面对海量数据处理时的技术断层问题。很多开发者在掌握 CRUD 业务逻辑后，往往卡在数据集成、离线计算和实时流处理这三个关键环节。课程不以堆砌框架 API 为终点，而是着重梳理从 Hadoop 生态圈底层原理到现代云原生大数据组件的演进逻辑。它适合具备 1-3 年…

已有 1 人浏览发布 2026-10-07 更新 2026-10-07

重构传统 Java 向大数据全栈的技术跃迁

这门课程核心解决的是传统 Java 后端开发人员在面对海量数据处理时的技术断层问题。很多开发者在掌握 CRUD 业务逻辑后，往往卡在数据集成、离线计算和实时流处理这三个关键环节。课程不以堆砌框架 API 为终点，而是着重梳理从 Hadoop 生态圈底层原理到现代云原生大数据组件的演进逻辑。它适合具备 1-3 年 Java 开发经验，熟悉 JVM 内存模型、多线程并发以及 MySQL 数据库基本调优的工程师。如果你刚入门 Java，缺乏面向对象基础或并发编程经验，直接啃这套全栈体系会产生大量认知噪声，建议先补齐基础后再介入。课程的价值在于打破“只会写业务代码”的单维视角，让你理解数据在分布式集群中是如何被调度、存储和计算的，这种系统观比单纯掌握某个工具库的使用命令更具长期复用价值。

聚焦核心模块与工程落地能力

在自学路径上，不要试图从头到尾线性通关，应优先拆解为三个核心模块进行对照实践。第一是分布式存储与计算基石，重点攻克 HDFS 的块存储机制与 MapReduce 的 Shuffle 过程，这是理解后续所有组件数据流动的基础；第二是实时与内存计算体系，深入解析 HBase 的 LSM-Tree 存储结构、Kafka 的分区日志模型以及 Spark 的 DAG 执行引擎，这部分内容决定了你能否处理低延迟、高吞吐的场景；第三是数据治理与调度链路，理解 Hive 的数据仓库分层模型及 Airflow 或 Azkaban 的任务依赖管理。学完这套体系，你能够独立构建一套包含数据采集、离线数仓、实时看板在内的端到端大数据链路，而不仅仅是会调几个组件。你具备的设计能力将直接体现在对数据一致性、系统容错性以及成本控制的权衡上，这是初级开发者向资深架构师过渡的关键技能。

源码驱动的高效学习策略

资料包中的源码与文档不应作为视频课程的附属品被动阅读，而应作为工程复盘的工具主动使用。建议在学习每一个组件时，先阅读官方文档中的架构设计图，再对照源码中的核心类实现逻辑，例如查看 Spark 的 JobScheduler 或 HDFS 的 DataNode 协议交互代码。这种“源码-文档-实践”的三角验证方法能极大提升对系统内部状态的感知力。练习时，避免在大型集群上盲目试错，可先在单机模式或容器化环境中搭建最小可行环境，重点调试参数配置对性能的影响。遇到报错时，不要只盯着解决方案，务必追踪异常堆栈直至底层驱动或通信层，理解故障根源。将课程中的案例转化为可复用的微服务模块或数据处理管道，并建立自己的笔记体系记录关键参数调优经验。这种将知识内化为工程资产的过程，才是全栈工程师真正具备生产级交付能力的标志。

课程介绍

本课程来自马士兵，（高清完结版），是一门大数据全栈工程师课。别的不多讲，学过的人都说划算。马士兵教育创立6年来，致力于JAVA技术培训，颇受信赖，快来加入一起学习吧。

课程目录

├── 001.hadoop-大数据启蒙-初识HDFS.mp4
├── 002.hadoop-HDFS理论基础读写流程.mp4
├── 003.hadoop-HDFS集群搭建-伪分布式模式 1.mp4
├── 003.hadoop-HDFS集群搭建-伪分布式模式 2.mp4
├── 004.hadoop-HDFS集群搭建-HA模式概念 1.mp4
├── 004.hadoop-HDFS集群搭建-HA模式概念 2.mp4
├── 005.hadoop-HDFS集群搭建-HA模式验证.mp4
├── 006.hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS 1.mp4
├── 006.hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS 2.mp4
├── 007.hadoop-MapReduce原理精讲、轻松入门.mp4
├── 008.hadoop-Mapkeducen度原理，Varn原埋 1.mp4
├── 008.hadoop-Mapkeducen度原理，Varn原埋 2.mp4
├── 009.hadoop-MapReduce-Yar集群搭建、idea开发MR的wC程序 1.mp4
├── 009.hadoop-MapReduce-Yar集群搭建、idea开发MR的wC程序 2.mp4
├── 010.hadoop-MapReduce作业提交方式、源码-客户端提交源码 1.mp4
├── 010.hadoop-MapReduce作业提交方式、源码-客户端提交源码 2.mp4
├── 011.hadoop-MapReduce源码-MapTask-input源码精讲.mp4
鈹溾攢鈹€ 012.adoop-MapReduce婧愮爜-MapTask-output鍜孯educeTask绮捐 1.mp4
鈹溾攢鈹€ 012.adoop-MapReduce婧愮爜-MapTask-output鍜孯educeTask绮捐 2.mp4
├── 013.hadoop-MapReduce开发-分组取TopN-AP精炼 1.mp4
├── 013.hadoop-MapReduce开发-分组取TopN-AP精炼 2.mp4
├── 014.hadoop-MapReduce开发推荐系统大数据思维模式.mp4
├── 015 Hive的架构介绍及远程数据库模式安装 1.mp4
├── 015 Hive的架构介绍及远程数据库模式安装 2.mp4
├── 016 Hive的远程元数据服务模式安装及Hive SOL 1.mp4
├── 016 Hive的远程元数据服务模式安装及Hive SOL 2.mp4
├── 018.Hive参数设置、运行方式、动态分区、分桶 1.mp4
├── 018.Hive参数设置、运行方式、动态分区、分桶 2.mp4
├── 019.Hive视图、索引、权限管理 1.mp4
├── 019.Hive视图、索引、权限管理 2.mp4
├── 020.Hivet化、文件类型、HiveServer2高可用 1.mp4
├── 020.Hivet化、文件类型、HiveServer2高可用 2.mp4
├── 021.HBase架构介绍、数据模型 1.mp4
├── 021.HBase架构介绍、数据模型 2.mp4
├── 022.HBase伪分布式及完全分布式安装、HBase基本命令 1.mp4
├── 022.HBase伪分布式及完全分布式安装、HBase基本命令 2.mp4
├── 023.HBase Java API、Protocol Buffer简单介绍 1.mp4
├── 023.HBase Java API、Protocol Buffer简单介绍 2.mp4
├── 024.HBase与MapReduce整合、Hbase表设计 1.mp4
├── 024.HBase与MapReduce整合、Hbase表设计 2.mp4
├── 026.Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图 1.mp4
├── 026.Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图 2.mp4
├── 027.Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍 1.mp4
├── 027.Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍 2.mp4
├── 028.Hadoop项目-Flume讲解及数据清洗模块准备工作 1.mp4
├── 028.Hadoop项目-Flume讲解及数据清洗模块准备工作 2.mp4
├── 029.Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路 1.mp4
├── 029.Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路 2.mp4
├── 030.Hadoop项目-手敲用户新增指标模块代码 1.mp4
├── 030.Hadoop项目-手敲用户新增指标模块代码 2.mp4
├── 031.Hadoop项目-MR输出数据到mysql的输出格式化类、sqo0p的简单介绍 1.mp4
├── 031.Hadoop项目-MR输出数据到mysql的输出格式化类、sqo0p的简单介绍 2.mp4
├── 032.Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写 1.mp4
├── 032.Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写 2.mp4
├── 033.redis介绍及NIO原理介绍 1.mp4
├── 033.redis介绍及NIO原理介绍 2.mp4
鈹溾攢鈹€ 034.redis鐨剆tring绫诲瀷&amp锛沚itmap 1.mp4
鈹溾攢鈹€ 034.redis鐨剆tring绫诲瀷&amp锛沚itmap 2.mp4
鈹溾攢鈹€ 035.redis鐨刲ist锛宻et锛宧ash锛宻orted set銆乻kiplist 2.mp4
鈹溾攢鈹€ 035.redis鐨刲ist锛宻et锛宧ash锛宻orted set銆乻kiplist 1.mp4
├── 036.redis消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU 1.mp4
├── 036.redis消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU 2.mp4
├── 037.redis的持久化RDB、fork、copyonwrite、AOF、RDB&amp；AOF混合使用 1.mp4
├── 037.redis的持久化RDB、fork、copyonwrite、AOF、RDB&amp；AOF混合使用 2.mp4
├── 038.redis的集群：主从复制、CAP、PAXOS、cluster分片集群01.mp4
├── 039.redis的集群：主从复制、CAP、PAXOS、cluster分片集群02.mp4
├── 040.redis开发：spring.data.redis、连接、序列化、high-low api.mp4
├── 041.zookeeper介绍、安装、shellcli使用，基本概念验证.mp4
├── 042.zookeeper原理知识，paxos、zab、角色功能、API开发基础.mp4
├── 043.zookeeper案例：分布式配置注册发现、分布式锁、ractive模式编程.mp4
├── 044.scala语言、函数式编程、数据集处理、iterator设计模式实现.mp4
├── 045.scala语言、流程控制、高级函数.mp4
├── 046.scala语言、集合容器、iterator设计模式源码分析.mp4
鈹溾攢鈹€ 047.scala璇█銆乵atch锛宑ase class銆乮mplicitt銆乻park wordcount.mp4
├── 048.spark-core、复习hadoop生态、梳理术语、hadoopRDD源码分析.mp4
├── 049.spark-core、wordcount案例源码分析、图解.mp4
├── 050.spark-core、集合操作API、pvuv分析、RDD源码分析.mp4
├── 051.spark-core、聚合计算API、combineByKey、分区调优.mp4
├── 052.spark-core、二次排序、分组取TOpN、算子综合应用.mp4
├── 053.spark-core、集群框架图解、角色功能介绍、官网学习、搭建.mp4
├── 054.spark-core、history服务、standaloneHA、资源调度参数.mp4
├── 055.spark-core、基于yarn的集群搭建、配置、资源调度参数、优化jars.mp4
├── 056.spark-core-源码、RpcEnv、standaloneMaster启动分析.mp4
├── 057.spark-core-源码、Worker启动、sparksubmit提交、Driver启动.mp4
├── 058.spark-core-源码、Application注册、Executor资源申请.mp4
鈹溾攢鈹€ 059.spark-core-婧愮爜銆乻parkContext銆丏AGScheduler銆乻tage鍒掑垎.mp4
鈹溾攢鈹€ 060.spark-core-婧愮爜銆乀askscheduler銆丒xecutor杩愯Task銆丼parkEnv.mp4
鈹溾攢鈹€ 061.spark-core-婧愮爜銆丮emoryManager銆丅lockManager.mp4
鈹溾攢鈹€ 062.spark-core-婧愮爜銆丏ependency銆丼ortShuffleManager.mp4
├── 063.spark-core-源码、SortShuffleWriter、内存缓冲区buffer.mp4
├── 064.spark-core-源码、SortShuffleWriter、内存缓冲区buffer.mp4
├── 066.spark-core-源码、ShuffleReader、Tracker、Scheduler完整调度.mp4
├── 067.spark-core-源码、RDD持久化、检查点、广播变量、累加器.mp4
├── 068.spark-core-源码、RDD持久化、检查点、广播变量、累加器.mp4
├── 069.spark-sql、大数据中的SQL组成原理.mp4
├── 071.spark-sql、整合hive的metastore搭建企业级数合1.mp4
├── 072.spark-sql、整合hive的metastore搭建企业级数仓2.mp4
├── 073.spark-sql、复杂sql、函数、自定义函数、开窗over函数、OLAP.mp4
├── 074.spark-sql-源码、sql解析、dataset到rdd的执行计划.mp4
├── 075.spark-sql-源码、antlr4的sql解析、AST语法树的逻辑到物理转换.mp4
├── 076.spark-sql-源码、逻辑计划、优化器、物理计划、转换RDD.mp4
├── 077.spark-streaming、流式计算之微批计算原理及standalone.mp4
├── 078.spark-streaming、api、ha、检查点、窗口等机制.mp4
├── 079.spark-streaming、整合MQ-kafka开发.mp4
├── 080.spark-streaming、源码分析、流式微批任务的调度原理.mp4
├── 082.机器学习介绍、原理及应用场景.mp4
├── 083.线性回归算法的原理及参数优化方案.mp4
├── 084.基于Spark MLlib训练回归算法模型.mp4
├── 085.逻辑回归算法的原理及算法公式推导.mp4
├── 086.KNN识别手写数字与KMeans聚类算法原理.mp4
├── 087.KNN手写数字识别及KMeans算法原理.mp4
├── 088.手写KMeans聚类算法及实现精准微博营销案例.mp4
├── 089.分析KMeans精准营销案例代码及KMeans在推荐系统的应用.mp4
├── 090.逻辑回归算法原理及公式推导.mp4
├── 091.逻辑回归算法原理及公式推导.mp4
├── 092.逻辑回归算法及实现百度路况预测功能.mp4
├── 093.百度地图实时路况及路况预测.mp4
├── 094.决策树算法的原理.mp4
├── 095.随机森林算法与算法总结.mp4
├── 096.推荐系统的来龙去脉与推荐架构.mp4
├── 097.推荐系统架构设计及构建推荐系统训练集.mp4
├── 098.推荐系统代码实现及测试.mp4
├── 099.实现推荐系统在线推荐微服务.mp4
├── 100.基于节目的推荐系统，架构剖析，数据迁移.mp4
├── 101.提取节目的关键词，构建节目画像.mp4
├── 102.基于TextRank算法+TF-IDF算法提取关键词.mp4
├── 103.构建节目画像与用户画像.mp4
├── 104.构建用户画像及性能调优.mp4
├── 105.基于节目画像计算节目的相似度.mp4
├── 106.Spark调优总结及word2vec算法原理.mp4
├── 107.基于物品画像计算相似度.mp4
├── 108.实现基于模型的召回策略.mp4
├── 109.构建特征中心及模型召回实现.mp4
├── 111.训练排序模型及搭建推荐系统微服务.mp4
├── 112.推荐系统项目一大总结.mp4
├── 113.Flink初始及搭建集群环境.mp4
├── 114.Flink基于Yarn多种启动方式.mp4
├── 115.Flink运行架构及并行度设置.mp4
├── 116.Flink各种算子精讲1.mp4
├── 117.Flink各种算子精讲2.mp4
├── 118.Flink各种算子精讲3 1.mp4
├── 118.Flink各种算子精讲3 2.mp4
├── 119.基本函数类及富函数的使用.mp4
鈹溾攢鈹€ 123.Flink Checkpoint鍙奡avePoint绮捐.mp4
鈹溾攢鈹€ 124.Flink Window绐楀彛鍓栨瀽1.mp4
├── 125.上机实战演练：ES查询语法.mp4
鈹溾攢鈹€ 126.Flink Window鍓栨瀽2.mp4
鈹溾攢鈹€ 128.Flink鏃堕棿璇箟+Watermark.mp4
鈹溾攢鈹€ 129.Flink Window鍓栨瀽3.mp4
├── 130.ES查询之底层原理揭秘.mp4
├── 131 ES查询之Scripting查询/
├── 132 Flink Table API 编程/
├── 133 ES查询之分词器详解/
├── 134 Flink SQL编程/
├── 135 Flink 复杂事件处理CEP/
├── 136 ES查询之前缀搜索、通配符搜索、正则搜索、模糊查询串讲/
├── 137 CEP编程和Flink优化/
├── 138 交通实时监控项目1/
├── 139 ES Java API/
├── 140 交通实时监控项目2/
├── 141 ES/
├── 142 本节无内容，后续讲解/
├── 143 交通实时监控项目3/
├── 144 交通实时监控项目4/
├── 145 ELK Stack-ES集群/
├── 146 ELK Stack-ES集群/
├── 147 交通实时监控项目5/
├── 148 ELK-Beats&amp;Logstash介绍/
├── 149 ELK-Lostash架构实战/
├── 150 交通实时监控项目6/
├── 151 ELK-收集Nginx日志，syslog，kibana讲解/
├── 152 交通实时监控项目7/
├── 153 ELK-使用Packetbeat监控es集群/
├── 154 ES进阶-relevance score原理及排序算法优化/
├── 155 ES进阶-Nested、Join及Term vector详解/
├── 156 ES进阶-Highlight及Suggest搜索推荐详解/
├── 157 ES进阶-深入探秘基于地理位置搜索/
├── 158 ES进阶-案例分析：基于地理位置搜索的疫情地图/
├── 159 ES进阶-深入聚合分析-多metric以及histogram剖析/
├── 160 ES进阶-深入聚合搜索-完结/
├── 161 ES进阶-运维篇之集群管理/
├── 162 ES进阶-运维篇之集群管理2以及hdfs安装/
├── 163 ES进阶-基于snapshot hdfs restore数据备份还原/
├── 164 ES进阶-索引管理-1/
├── 165 ES进阶-索引管理-2/
├── 166 ES进阶-集群安全/
├── 167 项目实战-搜索引擎框架原理/
├── 168 项目实战-搜索推荐项目案例/
├── 169 数据仓库之数据库范式与ER实体关系模型建模/
├── 170 数据仓库之维度建模与数据仓库分析模型/
├── 171 数据仓库之数据仓库分层设计与命名规范/
├── 172 音乐数仓平台之项目架构及数仓分层、主题设计/
… 其余 79 项略，目录共 279 项