课程定位与适用边界 这是一门面向具备一定大数据开发基础的同学的进阶实战课。它并非从零讲起的入门教程,而是将 Hadoop 生态、Spark 离线计算、Spark 实时计算、HBase 以及 Redis 串联起来,解决企业中常见的数据仓库分层构建与实时数仓建设问题。如果你的技术栈还停留在只会写 Hive SQL 或者对 Spark 内存计算模型不够熟悉,建议…
这是一门面向具备一定大数据开发基础的同学的进阶实战课。它并非从零讲起的入门教程,而是将 Hadoop 生态、Spark 离线计算、Spark 实时计算、HBase 以及 Redis 串联起来,解决企业中常见的数据仓库分层构建与实时数仓建设问题。如果你的技术栈还停留在只会写 Hive SQL 或者对 Spark 内存计算模型不够熟悉,建议先补齐基础,再来看这门课。
课程的核心价值在于“大技术栈整合”。市面上很多教程只讲 Spark 本身,很少涉及它与 HBase 的读写交互,以及如何利用 Redis 做低延迟缓存或实时指标计算。这门课填补了这一空白,适合那些希望在简历上展现“能独立搭建离线+实时混合架构”能力的开发者。
由于课程包含离线与实时两条主线,建议你不要试图一次性全部啃完,而是根据目标岗位拆分优先级。
首先,务必夯实 Spark 离线部分。这是数据开发的基石,重点理解 DataFrame API 的使用、性能调优以及与其他组件的集成。如果你发现课程中关于 RDD 底层的讲解过于冗长,可以适度跳过,直接关注业务逻辑层面的代码实现。其次,对于实时部分,重点关注 Kafka 消息接入后的 Spark Streaming 或 Structured Streaming 处理逻辑。这里通常会涉及窗口函数、水位线处理等难点,是区分初级与中级工程师的关键点。
在 HBase 和 Redis 的部分,不要只停留在理论配置。你需要重点看代码是如何通过 Spark 批量写入 HBase,以及如何通过 Redis 实现热点数据的实时查询。这两块是企业落地中最容易踩坑的地方,也是面试中高频提问的场景。
完成课程核心内容后,你应该能够独立完成中小型企业的离线数仓 ETL 开发,并具备搭建基于 Kafka+Spark 的实时数据流处理系统的能力。具体表现为:能够设计从数据采集到最终报表生成的完整链路,能够解决 Spark 作业中的内存溢出与数据倾斜问题,并能将计算结果高效地写入 HBase 供查询或存入 Redis 供实时大屏展示。
配套资料主要用于课后练习与复现代码。建议在观看视频时同步动手敲代码,特别是大数据组件的配置环节,环境报错是常态,排查过程本身就是最好的学习。不要只看文档,要确保自己的本地或虚拟机环境中能够跑通从 Hadoop 到 Spark 再到 HBase/Redis 的全流程数据闭环。
mksz357 - Spark进阶 大数据离线与实时项目实战 Spark-Hbase-Redis-Hadoop 大技术栈的企业级应用
第1章 课程介绍&学习指南/ 1-1 课程介绍_(微信-rmshou-收集整理)[2].mp4 第2章 Redis入门/ 2-1 课程目录_(微信-rmshou-收集整理)[2].mp4 2-10 Redis基本数据类型之set_(微信-rmshou-收集整理)[2].mp4 2-11 使用Jedis对Redis进行操作_(微信-rmshou-收集整理)[2].mp4 2-12 Redis工具类开发_(微信-rmshou-收集整理)[2].mp4 2-2 Redis概述_(微信-rmshou-收集整理)[2].mp4 2-3 Redis特性_(微信-rmshou-收集整理)[2].mp4 2-4 Redis应用场景_(微信-rmshou-收集整理)[2].mp4 2-5 Redis部署&服务启停&客户端连接_(微信-rmshou-收集整理)[2].mp4 2-6 Redis多数据库特性_(微信-rmshou-收集整理)[2].mp4 2-7 Redis基础命令的使用_(微信-rmshou-收集整理)[2].mp4 2-8 Redis数据类型之string_(微信-rmshou-收集整理)[2].mp4 2-9 Redis数据类型之list_(微信-rmshou-收集整理)[2].mp4 第3章 HBase入门/ 3-1 数据存储现状-_(微信-rmshou-收集整理)[2].mp4 3-10 zookeeper环境部署-_(微信-rmshou-收集整理)[2].mp4 3-11 hbase环境部署-_(微信-rmshou-收集整理)[2].mp4 3-12 hbase shell ddl操作-_(微信-rmshou-收集整理)[2].mp4 3-13 hbase shell dml操作-_(微信-rmshou-收集整理)[2].mp4 3-14 hbase api编程之开发前置准备工作-_(微信-rmshou-收集整理)[2].mp4 3-15 hbase api编程之创建表以及查询表和所有列族-_(微信-rmshou-收集整理)[2].mp4 3-16 hbase api编程之添加和修改记录-_(微信-rmshou-收集整理)[2].mp4 3-17 hbase api编程之通过rowkey获取值-_(微信-rmshou-收集整理)[2].mp4 3-18 hbase api编程之scan-_(微信-rmshou-收集整理)[2].mp4 3-19 hbase api编程之filter-_(微信-rmshou-收集整理)[2].mp4 3-2 hbase是什么-_(微信-rmshou-收集整理)[2].mp4 3-20 hbase api编程之总结-_(微信-rmshou-收集整理)[2].mp4 3-3 hbase在生态圈中的位置以及列式存储带来的好处-_(微信-rmshou-收集整理)[2].mp4 3-4 hbase的特点-_(微信-rmshou-收集整理)[2].mp4 3-5 hbase vs rdbms vs hdfs-_(微信-rmshou-收集整理)[2].mp4 3-6 hbase的优势-_(微信-rmshou-收集整理)[2].mp4 3-7 hbase数据模-_(微信-rmshou-收集整理)[2].mp4 3-8 jdk环境搭建-_(微信-rmshou-收集整理)[2].mp4 3-9 hadoop环境部署(详解一个常见的错误解决方案-_(微信-rmshou-收集整理)[2].mp4 第4章 离线项目实战V1/ 4-1 课程目录-_(微信-rmshou-收集整理)[2].mp4 4-10 开发环境依赖使用说-_(微信-rmshou-收集整理)[2].mp4 4-11 功能开发之解析日志成dataframe并为dataframe添加字段信-_(微信-rmshou-收集整理)[2].mp4 4-12 功能开发之将df内容转成hbase要存储的-_(微信-rmshou-收集整理)[2].mp4 4-13 功能开发之整体etl流程详解及如何传参设计-_(微信-rmshou-收集整理)[2].mp4 4-14 功能开发之创建hbase表-_(微信-rmshou-收集整理)[2].mp4 4-15 功能开发之hbase rowkey设计_-_(微信-rmshou-收集整理)[2].mp4 4-16 功能开发之完成etl数据到hbase落地的全过程-_(微信-rmshou-收集整理)[2].mp4 4-17 功能开发之完成第一个指标的统计分析-_(微信-rmshou-收集整理)[2].mp4 4-18 功能开发之完成第二个指标的统计分析-_(微信-rmshou-收集整理)[2].mp4 4-19 性能优化之缓存的使用-_(微信-rmshou-收集整理)[2].mp4 4-2 项目背-_(微信-rmshou-收集整理)[2].mp4 4-20 功能开发之统计功能使用dataframe api以及sql api来完成-_(微信-rmshou-收集整理)[2].mp4 4-21 本章小结-_(微信-rmshou-收集整理)[2].mp4 4-3 项目处理流程-_(微信-rmshou-收集整理)[2].mp4 4-4 项目离线和实时架构-_(微信-rmshou-收集整理)[2].mp4 4-5 明确架构图中每个步骤使用的技术以及职责所-_(微信-rmshou-收集整理)[2].mp4 4-6 项目指标需求-_(微信-rmshou-收集整理)[2].mp4 4-7 功能开发之useragent解析(掌握如何获取技-_(微信-rmshou-收集整理)[2].mp4 4-8 功能开发之ip解析思路-_(微信-rmshou-收集整理)[2].mp4 4-9 功能开发之spark和hbase依赖整合-_(微信-rmshou-收集整理)[2].mp4 第5章 离线项目实战优化/ 5-1 课程目录-_(微信-rmshou-收集整理)[2].mp4 5-10 spark产生hfile整个流程实现并总结-_(微信-rmshou-收集整理)[2].mp4 5-2 spark on yarn-_(微信-rmshou-收集整理)[2].mp4 5-3 linux时间获取-_(微信-rmshou-收集整理)[2].mp4 5-4 shell封装spark作业提交脚本-_(微信-rmshou-收集整理)[2].mp4 5-5 将统计结果写入到mysql中-_(微信-rmshou-收集整理)[2].mp4 5-6 统计结果写入到mysql调优-_(微信-rmshou-收集整理)[2].mp4 5-7 spark etl到hbase优化之禁用wal-_(微信-rmshou-收集整理)[2].mp4 5-8 spark etl到hbase的hfile思路-_(微信-rmshou-收集整理)[2].mp4 5-9 spark产生hfile文件格式准备工作-_(微信-rmshou-收集整理)[2].mp4 第6章 实时项目实战/ 6-1 课程目录-_(微信-rmshou-收集整理)[2].mp4 6-10 功能实现之每天的粒度统计1-_(微信-rmshou-收集整理)[2].mp4 6-11 功能开发之调优-_(微信-rmshou-收集整理)[2].mp4 6-12 功能实现小结-_(微信-rmshou-收集整理)[2].mp4 6-13 功能实现之每小时统计及代码重构-_(微信-rmshou-收集整理)[2].mp4 6-14 sparkstreaming对接kafka offset管理-_(微信-rmshou-收集整理)[2].mp4 6-2 项目背景-_(微信-rmshou-收集整理)[2].mp4 6-3 项目架构及处理流程-_(微信-rmshou-收集整理)[2].mp4 6-4 项目需求-_(微信-rmshou-收集整理)[2].mp4 6-5 开发环境准备及参数配置统一管理-_(微信-rmshou-收集整理)[2].mp4 6-6 kafka部署及测试-_(微信-rmshou-收集整理)[2].mp4 6-7 mock数据-_(微信-rmshou-收集整理)[2].mp4 6-8 发送数据到kafka-_(微信-rmshou-收集整理)[2].mp4 6-9 sparkstreaming对接kafka数据-_(微信-rmshou-收集整理)[2].mp4 第7章 初识Alluxio/ 7-1 课程目录-_(微信-rmshou-收集整理)[2].mp4 7-10 alluxio整合mapreduce使用-_(微信-rmshou-收集整理)[2].mp4 7-11 alluxio整合spark使用-_(微信-rmshou-收集整理)[2].mp4 7-12 alluxio案例分享之在百度的使用-_(微信-rmshou-收集整理)[2].mp4 7-13 alluxio案例分享之在去哪儿的应用-_(微信-rmshou-收集整理)[2].mp4 7-2 概述-_(微信-rmshou-收集整理)[2].mp4 7-3 spark应用存在的问题分析-_(微信-rmshou-收集整理)[2].mp4 7-4 alluxio能为我们带来什么-_(微信-rmshou-收集整理)[2].mp4 7-5 alluxio特点-_(微信-rmshou-收集整理)[2].mp4 7-6 在spark实战项目中引入alluxio-_(微信-rmshou-收集整理)[2].mp4 7-7 alluxio部署-_(微信-rmshou-收集整理)[2].mp4 7-8 alluxio文件系统命令行操作-_(微信-rmshou-收集整理)[2].mp4 7-9 alluxio整合hdfs使用-_(微信-rmshou-收集整理)[2].mp4 同类型课程.jpg 第8章 Spark优化/ 8-1 课程目录_(微信-rmshou-收集整理)[2].mp4 8-10 调优之广播变量-_(微信-rmshou-收集整理)[2].mp4 8-2 调优之资源设置_(微信-rmshou-收集整理)[2].mp4 8-3 调优之算子的合理选择_(微信-rmshou-收集整理)[2].mp4 8-4 扩展之自定义排序一-_(微信-rmshou-收集整理)[2].mp4 8-5 扩展之自定义排序二(附带经典面试题-_(微信-rmshou-收集整理)[2].mp4 8-6 扩展之自定义排序(隐式转换-_(微信-rmshou-收集整理)[2].mp4 8-7 spark streaming调优之kafka限速-_(微信-rmshou-收集整理)[2].mp4 8-8 spark streaming对接kafka能真正做到仅消费一次吗-_(微信-rmshou-收集整理)[2].mp4 8-9 调优之序列化-_(微信-rmshou-收集整理)[2].mp4 课程资料/ 代码资料.zip