getfromcode

大数据Spark SQL慕课网日志分析

测试运维
课程简介

课程解决什么问题与适用基础 这份资料围绕慕课网真实生产日志,构建了一个端到端的大数据 pipeline。它并非孤立讲解 Spark SQL API,而是以“原始日志 -> 清洗 -> 统计 -> 入库 -> 可视化”为主线,把 Hadoop、Hive 和 Spark SQL 串联起来。对于开发者而言,这里的核心痛点是:如何在一个具体…

已有 17 人浏览 发布 2025-12-20 更新 2026-09-25

课程解决什么问题与适用基础

这份资料围绕慕课网真实生产日志,构建了一个端到端的大数据 pipeline。它并非孤立讲解 Spark SQL API,而是以“原始日志 -> 清洗 -> 统计 -> 入库 -> 可视化”为主线,把 Hadoop、Hive 和 Spark SQL 串联起来。对于开发者而言,这里的核心痛点是:如何在一个具体项目中落地离线数据处理,而不是只停留在概念层面。课程使用的 Spark 2.1.x 版本属于当前企业存量系统常见的稳定版本,理解其特性有助于处理遗留代码库或维护旧集群场景。

适合具有 Linux 基本操作能力、了解 Hadoop HDFS 和 Hive 基础概念,且熟悉 Scala 或 Java 中至少一门语言的开发者。如果你能独立编写简单的 MapReduce 或 Hive SQL,但尚未亲手搭建过一套包含数据清洗、Schema 定义、SaveMode 控制及结果可视化的完整工作流,这门课正好填补这一空白。不具备这些前置知识,可以先补 Hadoop 和 Hive 基础,再回来对照练习。

核心内容结构与复用模块

项目结构按数据处理阶段分层,便于按需截取和复用。第一章至第九章覆盖了日志的接入、清洗逻辑、统计维度设计、Hive 表建模、Spark SQL 读写配置以及 Echarts、Zeppelin 的数据呈现。第十章作为扩展,重点厘清 Spark SQL 的使用场景、DataFrame 与 SQL 的差异、Schema 的设计约束、SaveMode 对存储行为的影响,以及复杂 JSON 字段解析的技巧。

从工程复用角度看,值得提取的模块包括:基于 Schema 的结构化数据加载方式、针对不同写入目的地的 SaveMode 策略选择、从非结构化或半结构化日志中提取关键字段的解析代码、以及将统计结果映射到可视化组件的数据接口格式。这些片段可以改造为其他网站的访问日志分析、应用埋点数据统计或日志归档查询模板。注意课程强调 Schema 和 SaveMode 的细节,这往往是批量任务出错的高发区,对照视频中的参数调整比直接复制更稳妥。

建议学习路径与练习方法

建议先看第十章的前几节,先建立 Spark SQL 的视角,再回头对照前序章节看数据如何流入、如何清洗、如何落地。具体顺序为:Spark SQL 使用场景 -> 数据加载方式 -> DataFrame 与 SQL 对比 -> Schema 定义 -> SaveMode 行为。这样能在动手前明确“为什么这样写”,减少试错成本。

实战环节不要只追视频节奏,要自己搭建 Hadoop + Hive + Spark 环境,导入真实的慕课网日志样本,复现清洗、统计、入库全流程。遇到 JSON 解析报错,优先检查 Schema 是否匹配源数据;遇到数据重复或覆盖问题,优先检查 SaveMode 设置是否符合预期。最后用 Echarts 或 Zeppelin 渲染出访问趋势、热点页面、来源分布等图表,验证数据链路通畅。通过“先拆后合”的方式,把每个可复用模块独立跑通,再整合成完整项目,这样才能真正具备在类似场景中独立交付离线分析任务的能力。

【资源介绍】:

这一大数据应用案例为主线,使用慕课网真实日志,以目前主流的、最新的Spark稳定版2.1.x为基础,依次介绍相关的大数据技术:Hadoop、Hive、Spark SQL,涉及数据清洗、统计存储、处理入库以及数据可视化(Echarts、Zeppelin),最终会形成一个完整的大数据项目。

【资源目录】:

├──第10章 Spark SQL扩展和总结
| ├──10-1 -课程目录.mp4 8.30M
| ├──10-2 -Spark SQL使用场景.mp4 18.55M
| ├──10-3 -Spark SQL加载数据.mp4 193.61M
| ├──10-4 -DataFrame与SQL的对比.mp4 11.44M
| ├──10-5 -Schema.mp4 32.00M
| ├──10-6 -SaveMode.mp4 75.87M
| ├──10-7 -处理复杂的JSON数据.mp4 68.02M
| ├──10-8mp4.mp4 26.26M
| └──10-9 -外部数据源.mp4 59.66M
├──第1章 初探大数据
| ├──1-10hadoop下载jdk安装、.mp4 99.80M
| ├──1-11 机器参数设置.mp4 35.50M
| ├──1-12 hdfs核心配置文件内容配置.mp4 69.13M
| ├──1-13 hdfs格式化及启停.mp4 66.15M
| ├──1-14 hdfs shell常用操作.mp4 103.63M
| ├──1-15HDFS优缺点.mp4 5.32M
| ├──1-16MapReduce概述.mp4 12.58M
| ├──1-17 mapreduce编程模型及wordcount.mp4 49.89M
| ├──1-18 yarn产生背景.mp4 15.29M
| ├──1-19 yarn架构和执行流程.mp4 65.75M
| ├──1-1导学.mp4 32.45M
| ├──1-20 -YARN环境搭建及提交作业到YARN上运行.mp4 198.48M
| ├──1-21 -Hive产生背景及Hive是什么.mp4 68.38M
| ├──1-22 -为什么要使用Hive及Hive发展历程.mp4 45.54M
| ├──1-23 -Hive体系架构及部署架构.mp4 21.48M
| ├──1-24 -Hive环境搭建.mp4 164.35M
| ├──1-25 -Hive基本使用.mp4 164.68M
| ├──1-2如何学好大数据.mp4 6.46M
| ├──1-3开发环境介绍.mp4 18.88M
| ├──1-4 ooptb镜像文件使用介绍.mp4 55.95M
| ├──1-5大数据.mp4 26.52M
| ├──1-6 hadoop概述.mp4 85.02M
| ├──1-7 hdfs概述及设计目标.mp4 43.35M
| ├──1-8 hdfs架构mp4.mp4 93.37M
| └──1-9 hdfs副本机制.mp4 84.02M
├──第2章 Spark及其生态圈概述
| ├──2-1 -课程目录.mp4 4.76M
| ├──2-2 -Spark概述及特点.mp4 74.83M
| ├──2-3 -Spark产生背景.mp4 83.25M
| ├──2-4 -Spark发展历史.mp4 5.40M
| ├──2-5 -Spark Survey.mp4 23.39M
| ├──2-6 -Spark对比Hadoop.mp4 89.96M
| └──2-7 -Spark和Hadoop的协作性.mp4 10.30M
├──第3章 实战环境搭建
| ├──3-1 -课程目录.mp4 3.50M
| ├──3-2 -Spark源码编译.mp4 241.34M
| ├──3-3 补录:Spark源码编译中的坑.mp4 263.45M
| ├──3-4 Spark Local模式环境搭建.mp4 60.26M
| ├──3-5 Spark Standalone模式环境搭建.mp4 203.09M
| └──3-6 Spark简单使用.mp4 52.76M
├──第4章 Spark SQL概述
| ├──4-1 课程目录.mp4 3.27M
| ├──4-2 -Spark SQL前世今生.mp4 39.76M
| ├──4-3 -SQL on Hadoop常用框架介绍.mp4 22.69M
| ├──4-4 -Spark SQL概述.mp4 60.85M
| ├──4-5 -Spark SQL愿景.mp4 3.59M
| └──4-6 -Spark SQL架构.mp4 11.53M
├──第5章 从Hive平滑过渡到Spark SQL
| ├──5-1 -课程目录.mp4 4.32M
| ├──5-2 -A SQLContext的使用.mp4 306.18M
| ├──5-3 -B HiveContext的使用.mp4 117.06M
| ├──5-4 -C SparkSession的使用.mp4 72.89M
| ├──5-5 spark-shell&spark-sql的使用.mp4 369.18M
| ├──5-6 -thriftserver&beeline的使用.mp4 146.52M
| └──5-7 -jdbc方式编程访问.mp4 64.74M
├──第6章 DateFrame&Dataset
| ├──6-1 -课程目录.mp4 3.53M
| ├──6-2 -DataFrame产生背景.mp4 23.44M
| ├──6-3 -DataFrame概述.mp4 47.50M
| ├──6-4 -DataFrame和RDD的对比.mp4 8.34M
| ├──6-5 -DataFrame基本API操作.mp4 168.93M
| ├──6-6 -DataFrame与RDD互操作方式一.mp4 147.28M
| ├──6-7 dataframe与rdd互操作方式.mp4 97.50M
| ├──6-8 -DataFrame API操作案例实战.mp4 321.60M
| └──6-9 -Dataset概述及使用.mp4 122.10M
├──第7章 External Data Source
| ├──7-1 -课程目录.mp4 2.31M
| ├──7-2 -产生背景.mp4 12.99M
| ├──7-3 -概述.mp4 250.34kb
| ├──7-4 -目标.mp4 22.22M
| ├──7-5 -操作Parquet文件数据.mp4 166.22M
| ├──7-6 -操作Hive表数据.mp4 92.40M
| ├──7-7 -操作MySQL表数据.mp4 121.63M
| └──7-8 -Hive和MySQL综合使用.mp4 71.28M
├──第8章 SparkSQL愿景
| ├──8-1 -A SparkSQL愿景之一写更少的代码(代码量和可读性).mp4 20.12M
| ├──8-10 -SparkSQL愿景总结.mp4 2.17M
| ├──8-2 -B SparkSQL愿景之一写更少的代码(统一访问操作接口).mp4 41.15M
| ├──8-3 -C SparkSQL愿景之一写更少的代码(强有力的API支持).mp4 701.37kb
| ├──8-4 -D SparkSQL愿景之一些更少的代码(Schema推导).mp4 51.26M
| ├──8-5 -E SparkSQL愿景之一写更少的代码(Schema Merge).mp4 55.91M
| ├──8-6 -F SparkSQL愿景之一写更少的代码(Partition Discovery).mp4 48.53M
| ├──8-7 -G SparkSQL愿景之一写更少的代码(执行速度更快).mp4 7.85M
| ├──8-8 -SparkSQL愿景之二读取更少的数据.mp4 44.38M
| └──8-9 -SparkSQL愿景之三让查询优化器帮助我们优化执行效率.mp4 40.61M
├──第9章 慕课网日志实战
| ├──9-1 -课程目录.mp4 6.11M
| ├──9-10 -数据清洗存储到目标地址.mp4 123.21M
| ├──9-11 -需求一统计功能实现.mp4 175.54M
| ├──9-12 -Scala操作MySQL工具类开发.mp4 43.24M
| ├──9-13 -需求一统计结果写入到MySQL.mp4 197.24M
| ├──9-14 -需求二统计功能实现.mp4 87.38M
| ├──9-15 -需求二统计结果写入到MySQL.mp4 106.07M
| ├──9-16 -需求三统计功能实现.mp4 38.39M
| ├──9-17 -需求三统计结果写入到MySQL.mp4 70.32M
| ├──9-18 -代码重构之删除指定日期已有的数据.mp4 115.64M
| ├──9-19 -功能实现之数据可视化展示概述.mp4 111.11M
| ├──9-2 -用户行为日志概述.mp4 56.86M
| ├──9-20 -ECharts饼图静态数据展示.mp4 136.12M
| ├──9-21 -ECharts饼图动态展示之一查询MySQL中的数据.mp4 194.53M
| ├──9-22 -ECharts饼图动态展示之二前端开发.mp4 119.70M
| ├──9-23 -使用Zeppelin进行统计结果的展示.mp4 98.34M
| ├──9-24 -Spark on YARN基础.mp4 241.94M
| ├──9-25 -数据清洗作业运行到YARN上.mp4 280.28M
| ├──9-26 -统计作业运行在YARN上.mp4 131.12M
| ├──9-27 -性能优化之存储格式的选择.mp4 58.54M
| ├──9-28 -性能调优之压缩格式的选择mp4.mp4 96.90M
| ├──9-29 -性能优化之代码优化.mp4 106.33M
| ├──9-3 -离线数据处理架构.mp4 49.46M
| ├──9-30 -性能调优之参数优化.mp4 73.75M
| ├──9-4 -项目需求.mp4 25.71M
| ├──9-5 imooc网主站日志内容构成.mp4 88.36M
| ├──9-6 数据清洗之第一步原始日志解析.mp4 316.59M
| ├──9-7 -数据清洗之二次清洗概述.mp4 29.41M
| ├──9-8 -数据清洗之日志解析.mp4 299.76M
| └──9-9 -数据清洗之ip地址解析.mp4 141.09M
└──project.zip 1.11M

课程购买
课程价格
金币29
290金币限时优惠会员免费
销量:0
💎 开通会员每日免费下载,比单买更划算 →
支付成功后会自动显示下载资源云盘的链接!点击链接即可下载到本地。