正版资源【尚硅谷】大数据技术之Spark - 带源码课件
Spark 核心技术与实战案例导读 这门课聚焦于 Apache Spark 的核心技术与实际应用,涵盖 RDD、Spark SQL、Streaming 等模块,通过源码解析和实战案例帮助开发者深入理解 Spark 的运行机制与开发模式。课程内容以实现功能为导向,注重代码结构和模块化设计,适合希望构建
Spark 核心技术与实战案例导读
这门课聚焦于 Apache Spark 的核心技术与实际应用,涵盖 RDD、Spark SQL、Streaming 等模块,通过源码解析和实战案例帮助开发者深入理解 Spark 的运行机制与开发模式。课程内容以实现功能为导向,注重代码结构和模块化设计,适合希望构建大数据处理能力的开发者。
适合基础与学习重点
课程适合具备基础 Java 或 Scala 编程能力,对分布式计算有一定了解的开发者。学习者需要熟悉 MapReduce 的基本概念,以便更好地理解 Spark 的设计理念。重点在于掌握 Spark 的核心抽象如 RDD 和 DataFrame,以及如何利用它们进行高效的数据处理和分析。同时,课程提供大量实战项目,帮助学习者将理论知识转化为可运行的代码。
资料配合与实践建议
资料包中包含详细的课件、源码文件和视频讲解,建议先从 Spark 核心概念和 RDD 开发入手,理解数据分区、缓存机制和转换算子的使用。随后可深入 Spark SQL 和 Streaming 模块,熟悉 DataFrame API 和流式数据处理流程。在学习过程中,应结合源码分析,理解 Spark 内部实现原理,同时通过案例实操巩固所学知识。建议边看视频边对照源码,逐步实现课程中的示例项目,形成自己的工程实践能力。
学完本课程后,学习者应能够独立完成基于 Spark 的数据处理任务,包括结构化数据操作、流式数据处理和分布式计算任务的开发。同时具备一定的源码阅读能力,能够基于 Spark 架构进行模块化开发和性能调优。资料包中的内容可作为日常练习和项目开发的参考,建议将其中的案例项目拆解,尝试用不同方式实现相同功能,以提升代码复用和工程设计能力。
【尚硅谷】大数据技术之Spark - 带源码课件
Spark核心技术与实战案例
编辑点评
深入浅出Spark原理,实战案例丰富,源码解析详尽,适合大数据初学者及进阶者。
⭐ 编辑推荐
掌握Spark核心概念,学习流式处理、SQL操作,实战项目提升技能。
✨ 课程亮点
课程目录
视频78 集
- 视频文档.png [493.5 KB]
- P209.192 - Spark - Streaming - 案例实操 - 需求一 - 需求分析.mp4 [22.5 MB]
- P100.93 - Spark - RDD - 阶段的划分.mp4 [33.2 MB]
- P178.163 - Spark - SQL - 案例实操 - 问题解释.mp4 [5.2 MB]
- P12.11 - Spark - 环境 - 独立部署环境Standalone - HA高可用.mp4 [38.1 MB]
- P112.104 - Spark - 累加器 - 自定义累加器的创建和使用 - 2.mp4 [42.6 MB]
- P193.515 - Spark - 课程内容回顾 - SparkSQL.mp4 [71.6 MB]
- P139.128 - Spark - 案例实操 - 需求二 - 优化.mp4 [19.2 MB]
- P96.89 - Spark - RDD - 行动算子 - 序列化 - Kryo框架.mp4 [46.4 MB]
- P84.77 - Spark - RDD - 转换算子 - sortByKey - 自定义key.mp4 [14.0 MB]
- P130.119 - Spark - 案例实操 - 需求一 - 功能实现 - 2.mp4 [32.0 MB]
- P199.182 - Spark - Streaming - 优雅地关闭 - 演示补充.mp4 [9.3 MB]
- P5.04 - Spark - 案例 - WordCount - 环境准备.mp4 [36.3 MB]
- P7.06 - Spark - 案例 - WordCount - 功能补充.mp4 [27.3 MB]
- P34.31 - Spark - RDD - makeRDD分区数据存储的演示.mp4 [31.3 MB]
- P37.34 - Spark - RDD - textfile分区数据存储的原理说明.mp4 [50.6 MB]
- P78.72 - Spark - RDD - 转换算子 - combineByKey 演示&说明.mp4 [26.3 MB]
- P65.59 - Spark - RDD - 转换算子 - 双value的数据操作 - 问题解答.mp4 [17.0 MB]
- P55.504 - Spark - 直播间问题答疑 - RDD.mp4 [21.0 MB]
- P148.136 - Spark - SQL - 浠嬬粛琛ュ厖.mp4 [18.7 MB]
- P14.13 - Spark - 环境 - Yarn环境 - 历史服务(未演示).mp4 [11.1 MB]
- P210.193 - Spark - Streaming - 案例实操 - 需求一 - 功能实现 - 1.mp4 [67.8 MB]
- P206.189 - Spark - Streaming - 案例实操 - 生产数据 - 梳理 - 2.mp4 [24.6 MB]
- P153.141 - Spark - SQL - 基本API演示 - DSL语法.mp4 [22.5 MB]
- P129.118 - Spark - 案例实操 - 需求一 - 功能实现 - 1.mp4 [23.9 MB]
- P229.214 - Spark - 内核 - 通信 - 原理介绍.mp4 [44.4 MB]
- P40.37 - Spark - RDD - textfile分区数据存储的原理说明 - 多文件.mp4 [27.7 MB]
- P82.75 - Spark - RDD - 转换算子 - 聚合算子的区别.mp4 [39.8 MB]
- P202.185 - Spark - Streaming - 案例实操 - 生成模拟数据 - 1.mp4 [19.7 MB]
- P81.74 - Spark - RDD - 转换算子 - 去重思路.mp4 [10.4 MB]
- P165.153 - Spark - SQL - 通用的读取功能.mp4 [62.8 MB]
- P45.42 - Spark - RDD - 转换算子 - map - 小练习.mp4 [23.0 MB]
- P94.87 - Spark - RDD - 行动算子 - 序列化.mp4 [54.2 MB]
- P118.110 - Spark - 案例实操 - 框架 - 封装.mp4 [32.5 MB]
- P47.44 - Spark - RDD - 转换算子 - mapPartitions - 小练习.mp4 [14.6 MB]
- P30.502 - Spark - 同学问题解答 - windows环境的文件路径问题.mp4 [7.3 MB]
- P200.183 - Spark - Streaming - 优雅地关闭 - 检查点操作.mp4 [17.7 MB]
- P171.159 - Spark - SQL - 外置Hive的访问.mp4 [19.7 MB]
- P10.09 - Spark - 环境 - 独立部署环境Standalone.mp4 [49.3 MB]
- P185.170 - Spark - Streaming - 队列采集数据.mp4 [19.2 MB]
- P228.213 - Spark - 内核 - 架构梳理 - Yarna - Cluster.mp4 [51.5 MB]
- P144.132 - Spark - 案例实操 - 需求三 - 功能实现 - 计算分子.mp4 [37.9 MB]
- P33.30 - Spark - RDD - makeRDD的分区的设置.mp4 [38.4 MB]
- P137.126 - Spark - 案例实操 - 需求二 - 功能实现.mp4 [47.9 MB]
- P43.40 - Spark - RDD - 转换算子 - map实现原理.mp4 [25.1 MB]
- P224.208 - Spark - 内核 - 知识点梳理 - 源码解析 - AM申请资源并对资源进行匹配.mp4 [70.2 MB]
- P131.120 - Spark - 案例实操 - 需求一 - 功能优化 - 1.mp4 [52.0 MB]
- P38.35 - Spark - RDD - textfile分区数据存储的原理说明 - 1.mp4 [33.1 MB]
- P133.122 - Spark - 案例实操 - 需求一 - 功能优化 - 3.mp4 [50.8 MB]
- P220.203 - Spark - 内核 - 知识点梳理.mp4 [28.4 MB]
- P232.518 - Spark - 课程内容回顾 - SparkStreaming - 案例实操.mp4 [38.3 MB]
- P223.206 - Spark - 内核 - 知识点梳理 - 源码解析 - 向Yarn发送指令启动AM.mp4 [75.2 MB]
- P158.146 - Spark - SQL - IDEA开发SparkSQL程序 - 演示基本操作.mp4 [33.0 MB]
- P121.508 - Spark - 11种不同算子实现的wordCount.mp4 [56.2 MB]
- P174.512 - Spark - 考试题目 - 解析.mp4 [116.4 MB]
- P107.99 - Spark - RDD - 持久化 - 检查点 & cache的关系.mp4 [11.5 MB]
- P79.505 - Spark - 课程内容回顾.mp4 [77.0 MB]
- P115.107 - Spark - 广播变量 - 原理说明 & 演示.mp4 [10.1 MB]
- P92.85 - Spark - RDD - 行动算子 - 乱码问题.mp4 [14.9 MB]
- P219.202 - Spark - Streaming - 案例实操 - 需求三 - 数据生成.mp4 [10.2 MB]
- P88.81 - Spark - RDD - 案例实操 - 功能实现.mp4 [55.5 MB]
- P99.92 - Spark - RDD - 依赖关系 - 宽依赖 & 窄依赖 图形演示.mp4 [24.4 MB]
- P111.103 - Spark - 累加器 - 自定义累加器的创建和使用 - 1.mp4 [34.1 MB]
- P2.01 - Spark - 姒傚康浠嬬粛.mp4 [26.0 MB]
- P75.69 - Spark - RDD - 转换算子 - aggregateByKey 演示和说明.mp4 [29.6 MB]
- P18.17 - Spark - 鏍稿績姒傚康.mp4 [18.6 MB]
- P68.62 - Spark - RDD - 转换算子 - 自定义分区器.mp4 [36.9 MB]
- P69.63 - Spark - RDD - 转换算子 - partitionBy问题解答.mp4 [17.9 MB]
- P122.509 - Spark - 课程内容回顾 - 阶段划分.mp4 [52.3 MB]
- P31.28 - Spark - RDD - RDD姒傚康姊崇悊.mp4 [26.0 MB]
- P214.197 - Spark - Streaming - 案例实操 - 需求一 - 扩展.mp4 [53.8 MB]
- P72.66 - Spark - RDD - 转换算子 - groupByKey实现原理.mp4 [37.1 MB]
- P41.38 - Spark - RDD - 绠楀瓙 - 浠嬬粛.mp4 [21.9 MB]
- P110.102 - Spark - 累加器 - 原理和演示.mp4 [38.0 MB]
- P16.15 - Spark - 环境 - 部署方式对比 & 端口号总结.mp4 [18.5 MB]
- P217.199 - Spark - Streaming - 案例实操 - 需求三 - 需求分析.mp4 [26.0 MB]
- P93.86 - Spark - RDD - 琛屽姩绠楀瓙 - foreach.mp4 [31.1 MB]
- P87.80 - Spark - RDD - 案例实操 - 需求分析.mp4 [40.9 MB]
适合人群
- 大数据初学者
- 大数据进阶者
- Spark爱好者
🎯 学习收获
- 掌握Spark核心概念
- 学习流式处理与SQL操作
- 提升大数据处理能力
🎉 祝您学习愉快!




