getfromcode

mksz357 - Spark进阶 大数据离线与实时项目实战 Spark-Hbase-Redis-Hadoop 大技术栈的企业级应用

体系课
课程简介

课程定位与适用边界 这是一门面向具备一定大数据开发基础的同学的进阶实战课。它并非从零讲起的入门教程,而是将 Hadoop 生态、Spark 离线计算、Spark 实时计算、HBase 以及 Redis 串联起来,解决企业中常见的数据仓库分层构建与实时数仓建设问题。如果你的技术栈还停留在只会写 Hive SQL 或者对 Spark 内存计算模型不够熟悉,建议…

已有 0 人浏览 发布 2026-10-17 更新 2026-10-18

课程定位与适用边界

这是一门面向具备一定大数据开发基础的同学的进阶实战课。它并非从零讲起的入门教程,而是将 Hadoop 生态、Spark 离线计算、Spark 实时计算、HBase 以及 Redis 串联起来,解决企业中常见的数据仓库分层构建与实时数仓建设问题。如果你的技术栈还停留在只会写 Hive SQL 或者对 Spark 内存计算模型不够熟悉,建议先补齐基础,再来看这门课。

课程的核心价值在于“大技术栈整合”。市面上很多教程只讲 Spark 本身,很少涉及它与 HBase 的读写交互,以及如何利用 Redis 做低延迟缓存或实时指标计算。这门课填补了这一空白,适合那些希望在简历上展现“能独立搭建离线+实时混合架构”能力的开发者。

重点模块与学习建议

由于课程包含离线与实时两条主线,建议你不要试图一次性全部啃完,而是根据目标岗位拆分优先级。

首先,务必夯实 Spark 离线部分。这是数据开发的基石,重点理解 DataFrame API 的使用、性能调优以及与其他组件的集成。如果你发现课程中关于 RDD 底层的讲解过于冗长,可以适度跳过,直接关注业务逻辑层面的代码实现。其次,对于实时部分,重点关注 Kafka 消息接入后的 Spark Streaming 或 Structured Streaming 处理逻辑。这里通常会涉及窗口函数、水位线处理等难点,是区分初级与中级工程师的关键点。

在 HBase 和 Redis 的部分,不要只停留在理论配置。你需要重点看代码是如何通过 Spark 批量写入 HBase,以及如何通过 Redis 实现热点数据的实时查询。这两块是企业落地中最容易踩坑的地方,也是面试中高频提问的场景。

学完能独立做什么

完成课程核心内容后,你应该能够独立完成中小型企业的离线数仓 ETL 开发,并具备搭建基于 Kafka+Spark 的实时数据流处理系统的能力。具体表现为:能够设计从数据采集到最终报表生成的完整链路,能够解决 Spark 作业中的内存溢出与数据倾斜问题,并能将计算结果高效地写入 HBase 供查询或存入 Redis 供实时大屏展示。

配套资料主要用于课后练习与复现代码。建议在观看视频时同步动手敲代码,特别是大数据组件的配置环节,环境报错是常态,排查过程本身就是最好的学习。不要只看文档,要确保自己的本地或虚拟机环境中能够跑通从 Hadoop 到 Spark 再到 HBase/Redis 的全流程数据闭环。

mksz357 - Spark进阶 大数据离线与实时项目实战 Spark-Hbase-Redis-Hadoop 大技术栈的企业级应用

课程目录

第1章 课程介绍&学习指南/
1-1 课程介绍_(微信-rmshou-收集整理)[2].mp4
第2章 Redis入门/
2-1 课程目录_(微信-rmshou-收集整理)[2].mp4
2-10 Redis基本数据类型之set_(微信-rmshou-收集整理)[2].mp4
2-11 使用Jedis对Redis进行操作_(微信-rmshou-收集整理)[2].mp4
2-12 Redis工具类开发_(微信-rmshou-收集整理)[2].mp4
2-2 Redis概述_(微信-rmshou-收集整理)[2].mp4
2-3 Redis特性_(微信-rmshou-收集整理)[2].mp4
2-4 Redis应用场景_(微信-rmshou-收集整理)[2].mp4
2-5 Redis部署&服务启停&客户端连接_(微信-rmshou-收集整理)[2].mp4
2-6 Redis多数据库特性_(微信-rmshou-收集整理)[2].mp4
2-7 Redis基础命令的使用_(微信-rmshou-收集整理)[2].mp4
2-8 Redis数据类型之string_(微信-rmshou-收集整理)[2].mp4
2-9 Redis数据类型之list_(微信-rmshou-收集整理)[2].mp4
第3章 HBase入门/
3-1 数据存储现状-_(微信-rmshou-收集整理)[2].mp4
3-10 zookeeper环境部署-_(微信-rmshou-收集整理)[2].mp4
3-11 hbase环境部署-_(微信-rmshou-收集整理)[2].mp4
3-12 hbase shell ddl操作-_(微信-rmshou-收集整理)[2].mp4
3-13 hbase shell dml操作-_(微信-rmshou-收集整理)[2].mp4
3-14 hbase api编程之开发前置准备工作-_(微信-rmshou-收集整理)[2].mp4
3-15 hbase api编程之创建表以及查询表和所有列族-_(微信-rmshou-收集整理)[2].mp4
3-16 hbase api编程之添加和修改记录-_(微信-rmshou-收集整理)[2].mp4
3-17 hbase api编程之通过rowkey获取值-_(微信-rmshou-收集整理)[2].mp4
3-18 hbase api编程之scan-_(微信-rmshou-收集整理)[2].mp4
3-19 hbase api编程之filter-_(微信-rmshou-收集整理)[2].mp4
3-2 hbase是什么-_(微信-rmshou-收集整理)[2].mp4
3-20 hbase api编程之总结-_(微信-rmshou-收集整理)[2].mp4
3-3 hbase在生态圈中的位置以及列式存储带来的好处-_(微信-rmshou-收集整理)[2].mp4
3-4 hbase的特点-_(微信-rmshou-收集整理)[2].mp4
3-5 hbase vs rdbms vs hdfs-_(微信-rmshou-收集整理)[2].mp4
3-6 hbase的优势-_(微信-rmshou-收集整理)[2].mp4
3-7 hbase数据模-_(微信-rmshou-收集整理)[2].mp4
3-8 jdk环境搭建-_(微信-rmshou-收集整理)[2].mp4
3-9 hadoop环境部署(详解一个常见的错误解决方案-_(微信-rmshou-收集整理)[2].mp4
第4章 离线项目实战V1/
4-1 课程目录-_(微信-rmshou-收集整理)[2].mp4
4-10 开发环境依赖使用说-_(微信-rmshou-收集整理)[2].mp4
4-11 功能开发之解析日志成dataframe并为dataframe添加字段信-_(微信-rmshou-收集整理)[2].mp4
4-12 功能开发之将df内容转成hbase要存储的-_(微信-rmshou-收集整理)[2].mp4
4-13 功能开发之整体etl流程详解及如何传参设计-_(微信-rmshou-收集整理)[2].mp4
4-14 功能开发之创建hbase表-_(微信-rmshou-收集整理)[2].mp4
4-15 功能开发之hbase rowkey设计_-_(微信-rmshou-收集整理)[2].mp4
4-16 功能开发之完成etl数据到hbase落地的全过程-_(微信-rmshou-收集整理)[2].mp4
4-17 功能开发之完成第一个指标的统计分析-_(微信-rmshou-收集整理)[2].mp4
4-18 功能开发之完成第二个指标的统计分析-_(微信-rmshou-收集整理)[2].mp4
4-19 性能优化之缓存的使用-_(微信-rmshou-收集整理)[2].mp4
4-2 项目背-_(微信-rmshou-收集整理)[2].mp4
4-20 功能开发之统计功能使用dataframe api以及sql api来完成-_(微信-rmshou-收集整理)[2].mp4
4-21 本章小结-_(微信-rmshou-收集整理)[2].mp4
4-3 项目处理流程-_(微信-rmshou-收集整理)[2].mp4
4-4 项目离线和实时架构-_(微信-rmshou-收集整理)[2].mp4
4-5 明确架构图中每个步骤使用的技术以及职责所-_(微信-rmshou-收集整理)[2].mp4
4-6 项目指标需求-_(微信-rmshou-收集整理)[2].mp4
4-7 功能开发之useragent解析(掌握如何获取技-_(微信-rmshou-收集整理)[2].mp4
4-8 功能开发之ip解析思路-_(微信-rmshou-收集整理)[2].mp4
4-9 功能开发之spark和hbase依赖整合-_(微信-rmshou-收集整理)[2].mp4
第5章 离线项目实战优化/
5-1 课程目录-_(微信-rmshou-收集整理)[2].mp4
5-10 spark产生hfile整个流程实现并总结-_(微信-rmshou-收集整理)[2].mp4
5-2 spark on yarn-_(微信-rmshou-收集整理)[2].mp4
5-3 linux时间获取-_(微信-rmshou-收集整理)[2].mp4
5-4 shell封装spark作业提交脚本-_(微信-rmshou-收集整理)[2].mp4
5-5 将统计结果写入到mysql中-_(微信-rmshou-收集整理)[2].mp4
5-6 统计结果写入到mysql调优-_(微信-rmshou-收集整理)[2].mp4
5-7 spark etl到hbase优化之禁用wal-_(微信-rmshou-收集整理)[2].mp4
5-8 spark etl到hbase的hfile思路-_(微信-rmshou-收集整理)[2].mp4
5-9 spark产生hfile文件格式准备工作-_(微信-rmshou-收集整理)[2].mp4
第6章 实时项目实战/
6-1 课程目录-_(微信-rmshou-收集整理)[2].mp4
6-10 功能实现之每天的粒度统计1-_(微信-rmshou-收集整理)[2].mp4
6-11 功能开发之调优-_(微信-rmshou-收集整理)[2].mp4
6-12 功能实现小结-_(微信-rmshou-收集整理)[2].mp4
6-13 功能实现之每小时统计及代码重构-_(微信-rmshou-收集整理)[2].mp4
6-14 sparkstreaming对接kafka offset管理-_(微信-rmshou-收集整理)[2].mp4
6-2 项目背景-_(微信-rmshou-收集整理)[2].mp4
6-3 项目架构及处理流程-_(微信-rmshou-收集整理)[2].mp4
6-4 项目需求-_(微信-rmshou-收集整理)[2].mp4
6-5 开发环境准备及参数配置统一管理-_(微信-rmshou-收集整理)[2].mp4
6-6 kafka部署及测试-_(微信-rmshou-收集整理)[2].mp4
6-7 mock数据-_(微信-rmshou-收集整理)[2].mp4
6-8 发送数据到kafka-_(微信-rmshou-收集整理)[2].mp4
6-9 sparkstreaming对接kafka数据-_(微信-rmshou-收集整理)[2].mp4
第7章 初识Alluxio/
7-1 课程目录-_(微信-rmshou-收集整理)[2].mp4
7-10 alluxio整合mapreduce使用-_(微信-rmshou-收集整理)[2].mp4
7-11 alluxio整合spark使用-_(微信-rmshou-收集整理)[2].mp4
7-12 alluxio案例分享之在百度的使用-_(微信-rmshou-收集整理)[2].mp4
7-13 alluxio案例分享之在去哪儿的应用-_(微信-rmshou-收集整理)[2].mp4
7-2 概述-_(微信-rmshou-收集整理)[2].mp4
7-3 spark应用存在的问题分析-_(微信-rmshou-收集整理)[2].mp4
7-4 alluxio能为我们带来什么-_(微信-rmshou-收集整理)[2].mp4
7-5 alluxio特点-_(微信-rmshou-收集整理)[2].mp4
7-6 在spark实战项目中引入alluxio-_(微信-rmshou-收集整理)[2].mp4
7-7 alluxio部署-_(微信-rmshou-收集整理)[2].mp4
7-8 alluxio文件系统命令行操作-_(微信-rmshou-收集整理)[2].mp4
7-9 alluxio整合hdfs使用-_(微信-rmshou-收集整理)[2].mp4
同类型课程.jpg
第8章 Spark优化/
8-1 课程目录_(微信-rmshou-收集整理)[2].mp4
8-10 调优之广播变量-_(微信-rmshou-收集整理)[2].mp4
8-2 调优之资源设置_(微信-rmshou-收集整理)[2].mp4
8-3 调优之算子的合理选择_(微信-rmshou-收集整理)[2].mp4
8-4 扩展之自定义排序一-_(微信-rmshou-收集整理)[2].mp4
8-5 扩展之自定义排序二(附带经典面试题-_(微信-rmshou-收集整理)[2].mp4
8-6 扩展之自定义排序(隐式转换-_(微信-rmshou-收集整理)[2].mp4
8-7 spark streaming调优之kafka限速-_(微信-rmshou-收集整理)[2].mp4
8-8 spark streaming对接kafka能真正做到仅消费一次吗-_(微信-rmshou-收集整理)[2].mp4
8-9 调优之序列化-_(微信-rmshou-收集整理)[2].mp4
课程资料/
代码资料.zip
课程购买
课程价格
金币29.9
299金币限时优惠会员免费
销量:0
💎 开通会员每日免费下载,比单买更划算 →
支付成功后会自动显示下载资源云盘的链接!点击链接即可下载到本地。