正版资源慕课网-Spark Streaming实时流处理项目实战
The user wants me to rewrite the previous draft, expanding it to 700-1200 Chinese characters. Let me analyze the requirements: 1. Must be 700-1200 Chi
支付成功后自动发货，可在「我的订单」查看网盘链接；链接失效可联系客服免费补链。
这门课解决什么问题
本课聚焦Spark Streaming实时流处理的工程落地，解决从环境搭建、数据采集到流式计算的完整链路问题。很多同学懂概念却不知如何从离线转实时，本课通过Flume采集与Spark Streaming计算的实战，打通从日志收集到实时处理的工程闭环，让你不再停留在理论对比上，直接拿到可运行的流处理代码。
适合什么基础与建议路径
适合具备Java/Scala基础及Spark离线计算经验的开发者。建议先看第2章初识实时流处理，理解离线与实时计算的差异及框架选型逻辑，明确为什么选Spark Streaming而不是Flink；再看第3章Flume分布式日志收集，明确数据源接入方式与采集链路设计。第1章环境搭建是后续开发的必要前置，需同步完成OOTB环境使用与Linux环境适配，尤其是Spark版本升级的实操，这是后续所有流处理代码运行的基础。
学完能独立做什么与资料配合
学完能独立完成实时流处理项目的端到端开发，包括Linux环境下的环境配置、Flume日志采集的部署与调优、Spark Streaming的代码编写与执行，以及在真实业务场景中做架构选型与版本升级决策。资料配合练习的方式是：每章先理解业务现状与架构选型逻辑，再对照源码实操，重点把Flume采集链路与Spark Streaming计算逻辑串联起来，形成从数据接入到结果输出的完整认知。资料包中的代码示例可直接拿来对照实践，无需从零搭建。
--- Let me count the Chinese characters (excluding punctuation and English): 第一段: 本课聚焦Spark Streaming实时流处理的工程落地解决从环境搭建数据采集到流式计算的完整链路问题很多同学懂概念却不知如何从离线转实时本课通过Flume采集与Spark Streaming计算的实战打通从日志收集到实时处理的工程闭环让你不再停留在理论对比上直接拿到可运行的流处理代码 Let me count: 本课聚焦 (4) Spark Streaming (14) 实时流处理的工程落地 (10) 解决从环境搭建 (7) 数据采集到流式计算的完整链路问题 (16) 很多同学懂概念 (7) 却不知如何从离线转实时 (11) 本课通过 (4) Flume采集与 (6) Spark Streaming计算的实战 (13) 打通从日志收集到实时处理的工程闭环 (16) 让你不再停留在理论对比上 (12) 直接拿到可运行的流处理代码 (13) Wait, I need to count only Chinese characters, excluding punctuation and English. Let me be more careful. 本课聚焦 (4 Chinese) 实时流处理的工程落地 (10 Chinese) 解决从环境搭建 (7 Chinese) 数据采集到流式计算的完整链路问题 (16 Chinese) 很多同学懂概念 (7 Chinese) 却不知如何从离线转实时 (11 Chinese) 本课通过 (4 Chinese) Flume采集与 (6 Chinese - Flume is English, 采集与 is 3 Chinese) Spark Streaming计算的实战 (13 Chinese - Spark Streaming is 24 chars but only 0 Chinese, 计算的实战 is 5 Chinese) 打通从日志收集到实时处理的工程闭环 (16 Chinese) 让你不再停留在理论对比上 (12 Chinese) 直接拿到可运行的流处理代码 (13 Chinese) Total so far: 4+10+7+16+7+11+4+3+5+16+12+13 = 108 第二段: 适合具备Java/Scala基础及Spark离线计算经验的开发者 (Java/Scala is 0 Chinese, but the rest is about 17 Chinese) 建议先看第2章初识实时流处理理解离线与实时计算的差异及框架选型逻辑明确为什么选Spark Streaming而不是Flink (第2章初识实时流处理理解离线与实时计算的差异及框架选型逻辑明确为什么选Spark Streaming而不是Flink - 第2章 is 3, 初识实时流处理理解离线与实时计算的差异及框架选型逻辑 is 21, 明确为什么选Spark Streaming而不是Flink - 明确为什么**第1章 课程介绍** (5节 | 42分钟)
- 1-1 -导学- (11:14)
- 1-2 -授课习惯和学习建议 (08:52)
- 1-3 -OOTB环境使用演示 (08:37)
- 1-4 -Linux环境及软件版本介绍 (08:21)
- 1-5 -Spark版本升级 (03:54)
**第2章 初识实时流处理** (8节 | 35分钟)
- 2-1 -课程目录 (01:39)
- 2-2 -业务现状分析 (07:25)
- 2-3 -实时流处理产生背景 (03:14)
- 2-4 -实时流处理概述 (02:46)
- 2-5 -离线计算和实时计算对比 (03:12)
- 2-6 -实时流处理框架对比 (06:20)
- 2-7 -实时流处理架构及技术选型 (05:20)
- 2-8 -实时流处理在企业中的应用 (04:34)
**第3章 分布式日志收集框架Flume** (8节 | 78分钟)
- 3-1 -课程目录 (01:51)
- 3-2 -业务现状分析 (08:41)
- 3-3 -Flume概述 (14:00)
- 3-4 -Flume架构及核心组件 (07:53)
- 3-5 -Flume&JDK环境部署 (10:09)
- 3-6 -Flume实战案例一 (13:35)
- 3-7 -Flume实战案例二 (06:30)
- 3-8 -Flume实战案例三(重点掌握) (14:44)
**第4章 分布式发布订阅消息系统Kafka** (11节 | 102分钟)
- 4-1 -课程目录 (01:37)
- 4-2 -Kafka概述 (10:58)
- 4-3 -Kafka架构及核心概念 (04:01)
- 4-4 -Kafka单节点单Broker部署之Zookeeper安装 (04:13)
- 4-5 -Kafka单节点单broker的部署及使用 (16:46)
- 4-6 -Kafka单节点多broker部署及使用 (09:31)
- 4-7 -Kafka容错性测试 (04:25)
- 4-8 -使用IDEA+Maven构建开发环境 (06:00)
- 4-9 -Kafka Producer Java API编程 (14:11)
- 4-10 -Kafka Consumer Java API编程 (13:00)
- 4-11 -Kafka实战之整合Flume和Kafka完成实时数据采集 (16:35)
**第5章 实战环境搭建** (7节 | 46分钟)
- 5-1 -课程目录 (01:11)
- 5-2 -Scala安装 (03:36)
- 5-3 -Maven安装 (05:15)
- 5-4 -Hadoop环境搭建 (10:55)
- 5-5 -HBase安装 (09:20)
- 5-6 -Spark环境搭建 (06:56)
- 5-7 -开发环境搭建 (08:00)
**第6章 Spark Streaming入门** (8节 | 43分钟)
- 6-1 -课程目录 (01:19)
- 6-2 -Spark Streaming概述 (10:38)
- 6-3 -Spark Streaming应用场景 (02:16)
- 6-4 -Spark Streaming集成Spark生态系统的使用 (02:37)
- 6-5 -Spark Streaming发展史 (02:05)
- 6-6 -从词频统计功能着手入门Spark Streaming (12:10)
- 6-7 -Spark Streaming工作原理(粗粒度) (03:42)
- 6-8 -Spark Streaming工作原理(细粒度) (07:49)
**第7章 Spark Streaming核心概念与编程** (7节 | 50分钟)
- 7-1 -课程目录 (01:35)
- 7-2 -核心概念之StreamingContext (11:51)
- 7-3 -核心概念之DStream (05:59)
- 7-4 -核心概念之Input DStreams和Receivers (06:22)
- 7-5 -核心概念之Transformation和Output Operations (02:47)
- 7-6 -案例实战之Spark Streaming处理socket数据 (14:12)
- 7-7 -案例实战之Spark Streaming处理文件系统数据 (06:29)
**第8章 Spark Streaming进阶与案例实战** (6节 | 54分钟)
- 8-1 -课程目录 (02:06)
- 8-2 -实战之updateStateByKey算子的使用 (12:00)
- 8-3 -实战之将统计结果写入到MySQL数据库中 (17:43)
- 8-4 -实战之窗口函数的使用 (05:23)
- 8-5 -实战之黑名单过滤 (10:45)
- 8-6 -实战之Spark Streaming整合Spark SQL操作 (05:17)
**第9章 Spark Streaming整合Flume** (11节 | 43分钟)
- 9-1 -课程目录 (00:51)
- 9-2 -Push方式整合之概述 (05:56)
- 9-3 -Push方式整合之Flume Agent配置开发 (03:30)
- 9-4 -Push方式整合之Spark Streaming应用开发 (05:18)
- 9-5 -Push方式整合之本地环境联调 (06:09)
- 9-6 -Push方式整合之服务器环境联调 (05:05)
- 9-7 -Pull方式整合之概述 (04:11)
- 9-8 -Pull方式整合之Flume Agent配置开发 (01:54)
- 9-9 -Pull方式整合之Spark Streaming应用开发 (03:05)
- 9-10 -Pull方式整合之本地环境联调 (02:50)
- 9-11 -Pull方式整合之服务器环境联调 (03:38)
**第10章 Spark Streaming整合Kafka** (10节 | 54分钟)
- 10-1 -课程目录 (01:27)
- 10-2 -Spark Streaming整合Kafka的版本选择详解 (04:52)
- 10-3 -Receiver方式整合之概述 (06:34)
- 10-4 -Receiver方式整合之Kafka测试 (05:45)
- 10-5 -Receiver方式整合之Spark Streaming应用开发 (08:36)
- 10-6 -Receiver方式整合之本地环境联调 (02:31)
- 10-7 -Receiver方式整合之服务器环境联调及Streaming UI讲解 (08:04)
- 10-8 -Direct方式整合之概述 (05:39)
- 10-9 -Direct方式整合之Spark Streaming应用开发及本地环境测试 (06:36)
- 10-10 -Direct方式整合之服务器环境联调 (03:34)
**第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础** (7节 | 46分钟)
- 11-1 -课程目录 (02:18)
- 11-2 -处理流程画图剖析 (05:09)
- 11-3 -日志产生器开发并结合log4j完成日志的输出 (05:50)
- 11-4 -使用Flume采集Log4j产生的日志 (14:19)
- 11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka (09:10)
- 11-6 -Spark Streaming消费Kafka的数据进行统计 (03:29)
- 11-7 -本地测试和生产环境使用的拓展 (05:14)
**第12章 Spark Streaming项目实战** (20节 | 173分钟)
- 12-1 -课程目录 (04:05)
- 12-2 -需求说明 (03:47)
- 12-3 -用户行为日志介绍 (13:40)
- 12-4 -Python日志产生器开发之产生访问url和ip信息 (13:15)
- 12-5 -Python日志产生器开发之产生referer和状态码信息 (08:48)
- 12-6 -Python日志产生器开发之产生日志访问时间 (02:16)
- 12-7 -Python日志产生器服务器测试并将日志写入到文件中 (05:45)
- 12-8 -通过定时调度工具每一分钟产生一批数据 (06:00)
- 12-9 -使用Flume实时收集日志信息 (09:10)
- 12-10 -对接实时日志数据到Kafka并输出到控制台测试 (06:15)
- 12-11 -Spark Streaming对接Kafka的数据进行消费 (07:46)
- 12-12 -使用Spark Streaming完成数据清洗操作 (17:25)
- 12-13 -功能一之需求分析及存储结果技术选型分析 (09:08)
- 12-14 -功能一之数据库访问DAO层方法定义 (05:03)
- 12-15 -功能一之HBase操作工具类开发 (12:15)
- 12-16 -功能一之数据库访问DAO层方法实现 (07:15)
- 12-17 -功能一之将Spark Streaming的处理结果写入到HBase中 (08:03)
- 12-18 -功能二之需求分析及HBase设计&HBase数据访问层开发 (06:32)
- 12-19 -功能二之功能实现及本地测试 (07:55)
- 12-20 -将项目运行在服务器环境中 (17:54)
**第13章 可视化实战** (14节 | 114分钟)
- 13-1 -课程目录 (03:23)
- 13-2 -为什么需要可视化 (05:11)
- 13-3 -构建Spring Boot项目 (12:08)
- 13-4 -Echarts概述 (05:51)
- 13-5 -Spring Boot整合Echarts绘制静态数据柱状图 (09:29)
- 13-6 -Spring Boot整合Echarts绘制静态数据饼图 (04:28)
- 13-7 -项目目录调整 (01:55)
- 13-8 -根据天来获取HBase表中的实战课程访问次数 (10:34)
- 13-9 -实战课程访问量domain以及dao开发 (06:27)
- 13-10 -实战课程访问量Web层开发 (06:49)
- 13-11 -实战课程访问量实时查询展示功能实现及扩展 (14:12)
- 13-12 -Spring Boot项目部署到服务器上运行 (03:19)
- 13-13 -阿里云DataV数据可视化介绍 (12:13)
- 13-14 -DataV展示统计结果功能实现 (17:26)
**第14章 Java拓展** (3节 | 19分钟)
- 14-1 -课程目录 (01:31)
- 14-2 -使用Java开发Spark应用程序 (10:08)
- 14-3 -使用Java开发Spark Streaming应用程序 (06:48)
**第15章 补充内容** (9节 | 56分钟)
- 15-1 -课程目录 (03:32)
- 15-2 -流处理语义详解 (08:33)
- 15-3 -Kafka整合SparkStreaming的offsets管理宏观介绍 (09:40)
- 15-4 -环境准备 (02:57)
- 15-5 -offset管理演示一 (07:26)
- 15-6 -offset管理演示二 (09:33)
- 15-7 -offset管理演示三 (08:34)
- 15-8 -计算结果一致性 (04:50)
- 15-9 -补充内容总结 (00:46)
**第16章 （讨论群内直播内容分享）Spark流处理面试三两事** (7节 | 43分钟)
- 16-1 SparkStreaming整合Kafka面试常考点梳理 (03:46)
- 16-2 面试常考点之ack剖析 (07:24)
- 16-3 面试常考点之Kafka数据存储剖析 (06:40)
- 16-4 面试常考点之Kafka数据消费策略概述 (03:13)
- 16-5 面试常考点之基于Range消费策略详解 (06:22)
- 16-6 面试常考点之基于Range消费策略源码解析 (08:02)
- 16-7 面试常考点之基于RoundRobin消费策略分析 (06:58)
