【体系课】大数据开发工程师
课程简介
课程定位与核心问题 大数据开发的核心痛点在于组件版本碎片化严重，环境配置耗时且容易报错。这门课围绕 Hadoop、Spark、Flink 和 Kafka 等核心生态，提供一套标准化的工程实践方案。它不局限于理论讲解，而是直接呈现生产环境中常见的问题场景与解法，帮助开发者建立从离线批处理到实时流处理的完整技术视野，解决“会组件不会工程落地”的尴尬局面。 适合…
课程定位与核心问题
大数据开发的核心痛点在于组件版本碎片化严重，环境配置耗时且容易报错。这门课围绕 Hadoop、Spark、Flink 和 Kafka 等核心生态，提供一套标准化的工程实践方案。它不局限于理论讲解，而是直接呈现生产环境中常见的问题场景与解法，帮助开发者建立从离线批处理到实时流处理的完整技术视野，解决“会组件不会工程落地”的尴尬局面。
适合人群与前置基础
本课程适合具备 Java 基础、熟悉 Linux 常用命令、理解 SQL 语法并了解基本分布式概念的开发者。如果你是初级到中级开发人员，希望补齐大数据生态短板，或者需要从传统后端向大数据方向转型，这份资料是极佳的对照实践库。无需高深的算法背景，重点在于理解数据流转逻辑与组件协作机制，通过源码级调试加深记忆。
建议学习路径与实战模块
建议按以下顺序切入：先梳理 Hadoop 生态的基础架构与 YARN 资源调度原理；再深入 Spark 内存模型与 RDD 转换机制；接着掌握 Flink 的时间语义与窗口操作；最后整合 Kafka 实现端到端的实时数据管道。每个阶段都配有可运行的工程代码，重点观察任务提交、日志排查及参数调优细节。资料包中的配置文件和脚本可直接复用，用于本地搭建集群或对比线上配置差异。
学完后的工程能力
完成学习后，你将能够独立设计中小型数据仓库架构，编写高质量的 ETL 任务，并进行性能瓶颈分析与优化。具体包括：基于 Hive/SparkSQL 构建分层数据模型；使用 Flink 实现精确一次语义的流式计算；通过 Kafka 解耦生产与消费端；以及利用 Airflow 或 DolphinScheduler 编排复杂依赖任务。这些能力可直接应用于数据清洗、指标实时统计、用户行为分析等典型业务场景，满足企业对稳定、可维护大数据平台的需求。
资料配合练习建议
不要仅观看视频，应同步克隆代码仓库，在本地 Docker 环境中复现集群部署。每章练习要求手动修改关键参数（如 Executor 内存、并行度、Checkpoint 间隔），观察运行效果变化。遇到报错时，优先查阅日志文件结构，而非直接搜索答案。结合资料中的调试技巧文档，逐步培养独立排查问题的能力。这种“动手-踩坑-复盘”的闭环训练，是真正掌握大数据开发技能的关键路径。
课程介绍
课程目录 ├─1-阶段一：走进大数据 │ ├─第01周学好大数据先攻克Linux │ │ ├─第1章笑傲大数据成长体系课 │ │ │ 1-1笑傲大数据：总体介绍 │ │ │ │ │ ├─第2章Linux虚拟机安装配置 │ │ │ 2-1如何安装Linux虚拟机 │ │ │ 2-2使用Vmware安装Linux虚拟机 │ │ │ 2-3使用克隆的方式创建Linux虚拟机 │ │ │ 2-4使用SecureCRT连接Linux虚拟机之方式一 │ │ │ 2-5使用SecureCRT连接Linux虚拟机之方式二 │ │ │ 2-6SecureCRT配置修改 │ │ │ │ │ ├─第3章Linux极速上手 │ │ │ [1.1.3.10]--3-10Linux常见高级命令之三剑客(sed) │ │ │ [1.1.3.11]--3-11Linux常见高级命令之三剑客(awk) │ │ │ [1.1
课程目录
第 1 部分3 条
- 课程目录 ├─1-
- 阶段一：走进大数据 │ ├─
- 第01周学好大数据先攻克Linux │ │ ├─
第4章Linux试炼之配置与shell实战 │ │ │ [1.1.4.10]--4-10shell扩展 │ │ │ [1.1.4.11]--4-11Linux中的定时器crontab │ │ │ [1.1.4.1]--4-1Linux高级配置之静态ip设置 │ │ │ [1.1.4.2]--4-2Linux高级配置之hostname设置 │ │ │ [1.1.4.3]--4-3Linux高级配置之防火墙设置 │ │ │ [1.1.4.4]--4-4开发执行第一个shell脚本 │ │ │ [1.1.4.5]--4-5shell中变量的定义 │ │ │ [1.1.4.6]--4-6shell中四种变量的使用 │ │ │ [1.1.4.7]--4-7shell中的循环和判断之for循环 │ │ │ [1.1.4.8]--4-8shell中的循环和判断之while循环 │ │ │ [1.1.4.9]--4-9shell中的循环和判断之if判断 │ │ │ │ │ ├─1 条
- 第5章Linux总结与走进大数据 │ │ │ [1.1.5.1]--5-1实战：在Linux上安装配置JDK │ │ │ [1.1.5.2]--5-2Linux总结 │ │ │ [1.1.5.3]--5-3什么是大数据 │ │ │ [1.1.5.4]--5-4大数据产生的背景 │ │ │ [1.1.5.5]--5-5大数据的4V特征 │ │ │ [1.1.5.6]--5-6大数据的行业应用 │ │ │ │ │ └─附件 │ │ 01-Linux快速上手使用-PPT (1).pdf │ │ 01-学好大数据先攻克Linux-慕课网就业班 (1).pdf │ │ 1 Linux虚拟机安装配置丨慕课网教程.pdf │ │ 2 Linux基础命令的使用【选修】丨慕课网教程.pdf │ │ 3 Linux极速上手丨慕课网教程.pdf │ │ 4 Linux试炼之配置与shell实战丨慕课网教程.pdf │ │ 5 Linux总结与走进大数据丨慕课网教程.pdf │ │ 6 作业丨慕课网教程.pdf │ │ │ ├─
- 第02周大数据起源之初识Hadoop │ │ ├─
第1章初识Hadoop │ │ │ [1.2.1.1]--1-1什么是Hadoop │ │ │ [1.2.1.2]--1-2Hadoop发行版及核心组件介绍 │ │ │ │ │ ├─1 条
- 第2章Hadoop的两种安装方式 │ │ │ [1.2.2.1]--2-1Hadoop伪分布集群安装部署 │ │ │ [1.2.2.2]--2-2Hadoop伪分布集群安装部署 │ │ │ [1.2.2.3]--2-3Hadoop分布式集群安装部署 │ │ │ [1.2.2.4]--2-4Hadoop分布式集群安装部署 │ │ │ [1.2.2.5]--2-5Hadoop的客户端节点 │ │ │ │ │ └─附件 │ │ 02-大数据起源之Hadoop-PPT (1).pdf │ │ 02-大数据起源之初识Hadoop-慕课网就业班 (1).pdf │ │ 1 初始Hadoop丨慕课网教程 (1).pdf │ │ 2 Hadoop的安装方式丨慕课网教程 (1).pdf │ │ 3 作业丨慕课网教程 (1).pdf │ │ │ ├─
- 第03周Hadoop之HDFS的使用 │ │ ├─
第2章HDFS基础操作 │ │ │ [1.3.2.1]--2-1HDFS的常见Shell操作- │ │ │ [1.3.2.2]--2-2HDFS案例实操- │ │ │ │ │ ├─1 条
- 第3章Java操作HDFS │ │ │ [1.3.3.1]--3-1Java代码操作HDFS- │ │ │ [1.3.3.2]--3-2Java代码操作HDFS- │ │ │ │ │ └─附件 │ │ 03-Hadoop之HDFS的使用-慕课网就业班 (1).pdf │ │ 03-慕课网-学习资料预览 (1).pdf │ │ 1 HDFS介绍丨慕课网教程.pdf │ │ 2 HDFS基础操作丨慕课网教程.pdf │ │ 3 Java操作HDFS丨慕课网教程.pdf │ │ │ ├─
- 第04周Hadoop之HDFS核心进程剖析 │ │ ├─
第2章NameNode进阶 │ │ │ 2-1SecondaryNameNode介绍- │ │ │ 2-2DataNode介绍- │ │ │ 2-3NameNode总结- │ │ │ │ │ ├─1 条
- 第3章HDFS高级 │ │ │ 3-1HDFS的回收站- │ │ │ 3-2HDFS的安全模式- │ │ │ 3-3实战：定时上传数据至HDFS- │ │ │ 3-4HDFS的高可用和高扩展- │ │ │ 3-5本周总结+寄语 │ │ │ │ │ └─附件 │ │ 04-Hadoop之HDFS核心进程剖析-慕课网就业班 (1).pdf │ │ 04-慕课网-学习资料预览 (1).pdf │ │ 1 初始NameNode丨慕课网教程 (1).pdf │ │ 2 NameNode进阶丨慕课网教程 (1).pdf │ │ 3 HDFS高级丨慕课网教程 (1).pdf │ │ 4 Hadoop核心复盘丨慕课网教程 (1).pdf │ │ 大数据起源之Hadoop-1.xmind │ │ │ └─
- 第05周Hadoop之初识MR │ ├─
第3章深入MapReduce │ │ 3-1MapReduce任务日志查看 │ │ 3-2停止Hadoop集群中的任务 │ │ 3-3MapReduce程序扩展 │ │ │ ├─1 条
- 第4章精讲Shuffle执行过程及源码分析输入输出 │ │ 4-1Shuffle执行过程分析 │ │ 4-2Hadoop中的序列化机制 │ │ 4-3InputFormat层级分析 │ │ 4-4InputFormat之getSplits源码剖析 │ │ 4-5InputFormat之getSplits源码剖析 │ │ 4-6InputFormat之RecordReader源码剖析 │ │ 4-7OutputFormat源码剖析 │ │ │ └─附件 │ 05-Hadoop之初识MR-慕课网就业班 (2).pdf │ 05-慕课网-学习资料预览 (2).pdf │ 1 初始MapReduce丨慕课网教程 (1).pdf │ 2 实战：WordCount丨慕课网教程 (1).pdf │ 3 深入MapReduce丨慕课网教程 (1).pdf │ 4 精讲Shuffle执行过程及源码分析输入输出丨慕课网教程 (1).pdf │ ├─2-
- 阶段二：PB级离线数据计算分析方案 │ ├─
- 第06周拿来就用的企业级解决方案 │ │ ├─
第4章Hadoop官方文档使用指北【授人以鱼不如授人以渔】 │ │ │ 4-1Hadoop官方文档使用指南 │ │ │ 4-2Hadoop在CDH中的使用 │ │ │ 4-3Hadoop在HDP中的使用 │ │ │ │ │ ├─1 条
- 第5章Hadoop核心复盘 │ │ │ 5-1本周总结+寄语 │ │ │ │ │ └─附件 │ │ 06-慕课网-学习资料预览.pdf │ │ 06-拿来就用的企业级解决方案-慕课网就业班.pdf │ │ 1 剖析小文件问题与企业级解决方案丨慕课网教程.pdf │ │ 2 剖析数据倾斜问题与企业级解决方案丨慕课网教程.pdf │ │ 3 YARN实战丨慕课网教程.pdf │ │ 4 Hadoop官方文档使用指北丨慕课网教程.pdf │ │ 5 Hadoop核心复盘丨慕课网教程.pdf │ │ 大数据起源之Hadoop-2.xmind │ │ │ ├─
- 第07周Flume从0到高手一站式养成记 │ │ ├─
第4章Flume出神入化篇 │ │ │ 4-1各种自定义组件 │ │ │ 4-2Flume优化 │ │ │ 4-3Flume进程监控 │ │ │ │ │ ├─1 条
- 第5章Flume核心复盘 │ │ │ 5-1本周总结+寄语(1) │ │ │ │ │ └─附件 │ │ 07-Flume从0到高手一站式养成记-慕课网就业班.pdf │ │ 07-慕课网-学习资料预览.pdf │ │ 1 极速入门Flume丨慕课网教程.pdf │ │ 2 极速上手Flume使用丨慕课网教程.pdf │ │ 3 精讲Flume高级组件丨慕课网教程.pdf │ │ 4 Flume出神入化篇丨慕课网教程.pdf │ │ 5 Flume核心复盘丨慕课网教程.pdf │ │ 数据采集之Flume.xmind │ │ │ └─
- 第08周数据仓库Hive从入门到小牛 │ ├─
第5章Hive高级函数实战 │ │ 5-1Hive高级函数之分组排序取TopN │ │ 5-2Hive高级函数之行转列 │ │ 5-3Hive高级函数之列转行 │ │ 5-4Hive的排序函数 │ │ 5-5Hive的分组和去重函数 │ │ │ ├─1 条
- 第6章Hive技巧与核心复盘 │ │ 6-1一个SQL语句分析 │ │ 6-2Hive的Web工具-HUE │ │ 6-3本周总结+寄语 │ │ │ └─附件 │ 08-慕课网-学习资料预览.pdf │ 08-数据仓库Hive从入门到小牛-慕课网就业班.pdf │ 1 快速了解Hive丨慕课网教程.pdf │ 2 数据库与数据仓库区别丨慕课网教程.pdf │ 3 Hive基础使用丨慕课网教程.pdf │ 4 Hive核心实战丨慕课网教程.pdf │ 5 Hive高级函数实战丨慕课网教程.pdf │ 6 Hive技巧与核心复盘丨慕课网教程.pdf │ ├─3-
- 阶段三：Spark+综合项目：电商数据仓库设计与实战 │ ├─
- 第09周7天极速掌握Scala语言 │ │ ├─
第5章Scala高级特性 │ │ │ 5-1Scala高级特性之模式匹配 │ │ │ 5-2Scala高级特性之隐式转换 │ │ │ │ │ ├─1 条
- 第6章Scala核心复盘 │ │ │ 6-1本周总结+寄语 │ │ │ │ │ └─附件 │ │ 09-7天极速掌握Scala语言-慕课网就业班 (1).pdf │ │ 09-慕课网-学习资料预览 (1).pdf │ │ 1 Scala极速入门丨慕课网教程 (1).pdf │ │ 2 Scala基础语法丨慕课网教程 (1).pdf │ │ 3 Scala面向对象丨慕课网教程 (1).pdf │ │ 4 Scala函数式编程丨慕课网教程 (1).pdf │ │ 5 Scala高级特性丨慕课网教程 (1).pdf │ │ 6 Scala核心复盘丨慕课网教程 (1).pdf │ │ Scala快速上手.xmind │ │ │ ├─
- 第10周Spark快速上手-上传版 │ │ ├─
第6章TopN主播统计 │ │ │ 6-1TopN主播统计需求分析 │ │ │ 6-2TopN主播统计代码实现之Scala代码 │ │ │ 6-3TopN主播统计代码实现之Java代码 │ │ │ │ │ ├─2 条
- 第7章面试与核心复盘 │ │ │ 7-1面试题 │ │ │ 7-2本周总结+寄语 │ │ │ │ │ └─附件 │ │ 1 初识Spark丨慕课网教程 (1).pdf │ │ 10-Spark快速上手-慕课网就业班 (1).pdf │ │ 10-慕课网-学习资料预览 (1).pdf │ │ 2 解读Spark工作与架构原理丨慕课网教程 (1).pdf │ │ 3 Spark实战：单词统计丨慕课网教程 (1).pdf │ │ 4 Transformation与Action开发丨慕课网教程 (1).pdf │ │ 5 RDD持久化丨慕课网教程 (1).pdf │ │ 6 TopN主播统计丨慕课网教程 (1).pdf │ │ 7 面试与核心复盘丨慕课网教程 (1).pdf │ │ 内存计算引擎之Spark-1.xmind │ │ │ ├─
- 第11周Spark性能优化的道与术 │ │ │ 1-1宽依赖和窄依赖 │ │ │ 1-2Stage │ │ │ 1-3Spark任务的三种提交模式 │ │ │ 2-1Shuffle介绍 │ │ │ 2-2三种Shuffle机制分析 │ │ │ 3-1checkpoint概述 │ │ │ 3-2checkpoint和持久化的区别 │ │ │ 3-3checkpoint代码开发(Scala+Java) │ │ │ 3-4checkpoint代码执行分析 │ │ │ 3-5checkpoint源码分析之写操作 │ │ │ 3-6checkpoint源码分析之读操作 │ │ │ 4-1Spark程序性能优化分析 │ │ │ 4-2高性能序列化类库Kryo的使用 │ │ │ 4-3持久化或者checkpoint │ │ │ 4-4JVM垃圾回收调忧 │ │ │ 4-5提高并行度-1 │ │ │ 4-6提高并行度-2 │ │ │ 4-7数据本地化 │ │ │ 5-1算子优化之mapPartitions │ │ │ 5-2算子优化之foreachPartition │ │ │ 5-3算子优化之repartition的使用 │ │ │ 5-4算子优化之reduceByKey和groupByKey │ │ │ 6-1SparkSql快速上手使用 │ │ │ 6-2DataFrame常见算子操作 │ │ │ 6-3DataFrame的sql操作 │ │ │ 6-4RDD转换为DataFrame之反射方式 │ │ │ 6-5RDD转换为DataFrame之编程方式 │ │ │ 6-6load和save操作 │ │ │ 6-7SaveMode的使用 │ │ │ 6-8内置函数介绍 │ │ │ 7-1实战：TopN主播统计-1 │ │ │ 7-2实战：TopN主播统计-2 │ │ │ 7-3本周总结+寄语 │ │ │ │ │ └─附件 │ │ 1 Spark三种任务提交模式.pdf │ │ 11-Spark性能优化的道与术-慕课网就业班.pdf │ │ 11-慕课网-学习资料预览.pdf │ │ 2 Shuffle机制分析丨慕课网教程.pdf │ │ 3 Spark之checkpoint丨慕课网教程.pdf │ │ 4 Spark程序性能优化企业级最佳实践.pdf │ │ 5 Spark性能优化之算子优化.pdf │ │ 6 极速上手SparkSql丨慕课网教程.pdf │ │ 7 Spark实战与核心复盘丨慕课网教程.pdf │ │ │ ├─
- 第12周综合项目：电商数据仓库之用户行为数仓一手 │ │ ├─
第5章用户行为数仓设计与实现一手 │ │ │ 5-10需求二之需求分析一手 │ │ │ 5-11需求二之app层开发一手 │ │ │ 5-12需求二之开发脚本一手 │ │ │ 5-13需求三之需求分析一手 │ │ │ 5-14需求三之dws层和app层开发一手 │ │ │ 5-15需求三之开发脚本一手 │ │ │ 5-16需求四之需求分析一手 │ │ │ 5-17需求四之app层开发一手 │ │ │ 5-18需求四之开发脚本一手 │ │ │ 5-19需求五之需求分析一手 │ │ │ 5-1用户行为数据数仓开发之ods层开发一手 │ │ │ 5-20需求五之dws层开发一手 │ │ │ 5-21需求五之app层开发一手 │ │ │ 5-22需求五之结果验证一手 │ │ │ 5-23需求六之需求分析一手 │ │ │ 5-24需求六之dws层和app层开发一手 │ │ │ 5-25需求六之开发脚本一手 │ │ │ 5-26用户行为数据数仓表和任务脚本总结一手 │ │ │ 5-2用户行为数据数仓开发之ods层脚本抽取一手 │ │ │ 5-3用户行为数据数仓开发之dwd层开发一手 │ │ │ 5-4用户行为数据数仓开发之dwd层脚本抽取一手 │ │ │ 5-5用户行为数据数仓需求分析一手 │ │ │ 5-6需求一之需求分析一手 │ │ │ 5-7需求一之dws层开发一手 │ │ │ 5-8需求一之app层开发一手 │ │ │ 5-9需求一之开发脚本一手 │ │ │ │ │ ├─1 条
- 第6章项目核心复盘一手 │ │ │ 6-1本周总结一手 │ │ │ │ │ └─附件一手 │ │ 1 电商数据仓库效果展示丨慕课网教程一手.pdf │ │ 12-1 慕课网-学习资料预览一手.pdf │ │ 12-2 慕课网-学习资料预览一手.pdf │ │ 12-综合项目：电商数据仓库之用户行为数仓-慕课网就业班一手.pdf │ │ 2 数据仓库前置技术丨慕课网教程一手.pdf │ │ 3 电商数仓技术选型丨慕课网教程一手.pdf │ │ 4 数据生成与采集丨慕课网教程一手.pdf │ │ 5 用户行为数仓设计与实现丨慕课网教程一手.pdf │ │ 6 项目核心复盘丨慕课网教程一手.pdf │ │ 电商数仓项目-1一手.xmind │ │ │ ├─
- 第13周综合项目：电商数据仓库之商品订单数仓 │ │ ├─
第4章数据可视化和任务调度实现 │ │ │ 4-1数据可视化之Zepplin的安装部署和参数配置 │ │ │ 4-2数据可视化之Zepplin的使用 │ │ │ 4-3任务调度之Crontab调度器的使用 │ │ │ 4-4任务调度之Azkaban的安装部署 │ │ │ 4-5任务调度之Azkaban提交独立任务 │ │ │ 4-6任务调度之Azkaban提交依赖任务 │ │ │ 4-7任务调度之在数仓中使用Azkaban │ │ │ 4-8项目优化 │ │ │ │ │ ├─1 条
- 第5章项目核心复盘 │ │ │ 5-1本周总结 │ │ │ │ │ └─附件 │ │ 1 商品订单数仓需求分析丨慕课网教程.pdf │ │ 13-1 慕课网-学习资料预览.pdf │ │ 13-2 慕课网-学习资料预览.pdf │ │ 13-综合项目：电商数据仓库之商品订单数仓-慕课网就业班.pdf │ │ 2 需求设计与实现丨慕课网教程.pdf │ │ 3 订单拉链表实战丨慕课网教程.pdf │ │ 4 数据可视化和任务调度实现丨慕课网教程.pdf │ │ 5 项目核心复盘丨慕课网教程.pdf │ │ 电商数仓项目-2.xmind │ │ │ ├─
- 第14周消息队列之Kafka从入门到小牛 │ │ │ 1-1什么是消息队列 │ │ │ 1-2什么是Kafka │ │ │ 2-1Zookeeper安装部署之单机模式 │ │ │ 2-2Zookeeper安装部署之集群模式 │ │ │ 2-3Kafka安装部署之单机模式 │ │ │ 2-4Kafka安装部署之集群模式 │ │ │ 3-1Kafka中Topic的操作 │ │ │ 3-2Kafka中的生产者和消费者 │ │ │ 3-3案例：QQ群聊天 │ │ │ 4-1Broker扩展内容 │ │ │ 4-2Producer扩展内容 │ │ │ 4-3Consumer扩展内容 │ │ │ 5-1Topic+Partition+Message扩展内容 │ │ │ 5-2存储策略 │ │ │ 5-3容错机制 │ │ │ 6-1Java代码实现生产者代码 │ │ │ 6-2Java代码实现消费者代码 │ │ │ 6-3消费者代码扩展 │ │ │ 6-4Consumer消费Offset查询 │ │ │ 6-5Consumer消费顺序 │ │ │ 6-6Kafka的三种语义 │ │ │ 7-1JVM参数调忧 │ │ │ 7-2Replication参数调忧 │ │ │ 7-3Log参数调忧 │ │ │ 7-4KafkaTopic命名小技巧 │ │ │ 7-5Kafka集群监控管理工具(CMAK) │ │ │ 8-1实战：Flume集成Kafka-1 │ │ │ 8-2实战：Flume集成Kafka-2 │ │ │ 8-3实战：Kafka集群平滑升级 │ │ │ 9-1本周总结+寄语 │ │ │ │ │ ├─
第8章Kafka小试牛刀实战篇 │ │ ├─1 条
- 第9章Kafka核心复盘 │ │ └─附件 │ │ 1 初识Kafka丨慕课网教程.pdf │ │ 14-慕课网-学习资料预览.pdf │ │ 14-消息队列之Kafka从入门到小牛-慕课网就业班.pdf │ │ 2 Kafka集群安装部署丨慕课网教程.pdf │ │ 3 Kafka使用初体验丨慕课网教程.pdf │ │ 4 Kafka核心扩展内容丨慕课网教程.pdf │ │ 5 Kafka核心之存储和容错机制丨慕课网教程.pdf │ │ 6 Kafka生产消费者实战丨慕课网教程.pdf │ │ 7 Kafka技巧篇丨慕课网教程.pdf │ │ 8 Kafka小试牛刀实战篇丨慕课网教程.pdf │ │ 9 Kafka核心复盘丨慕课网教程.pdf │ │ 消息队列之Kafka.xmind │ │ │ └─
- 第15周极速上手内存数据库Redis │ ├─
第4章Redis高级特性 │ │ 4-1Redis高级特性之expire │ │ 4-2Redis高级特性之expire │ │ 4-3Redis高级特性之info │ │ 4-4Redis持久化之RDB │ │ 4-5Redis持久化之AOF │ │ 4-6Redis的安全策略 │ │ 4-7Redis监控命令-monitor │ │ │ ├─1 条
- 第5章Redis核心复盘 │ │ 5-1Redis架构演进过程 │ │ 5-2本周总结+寄语 │ │ │ └─附件 │ 1 快速了解Redis丨慕课网教程.pdf │ 15-慕课网-学习资料预览.pdf │ 15-极速上手内存数据库Redis-慕课网就业班.pdf │ 2 Redis核心实践丨慕课网教程.pdf │ 3 Redis封装工具类技巧丨慕课网教程.pdf │ 4 Redis高级特性丨慕课网教程.pdf │ 5 Redis核心复盘丨慕课网教程.pdf │ ├─4-
- 阶段四：高频实时数据处理方案 │ ├─
- 第16周Flink快速上手篇 │ │ ├─
第6章Flink核心API之TableAPI和SQL │ │ │ [4.3.6.1]--6-1TableAPI和SQL介绍 │ │ │ [4.3.6.2]--6-2创建TableEnvironment对象 │ │ │ [4.3.6.3]--6-3TableAPI和SQL的使用 │ │ │ [4.3.6.4]--6-4使用DataStream创建表 │ │ │ [4.3.6.5]--6-5使用DataSet创建表 │ │ │ [4.3.6.6]--6-6将表转换成DataStream │ │ │ [4.3.6.7]--6-7将表转换成DataSet │ │ │ │ │ ├─2 条
- 第7章Flink核心复盘 │ │ │ [4.3.7.1]--7-1本周总结+寄语 │ │ │ │ │ └─附件 │ │ 1 初识Flink丨慕课网教程.pdf │ │ 16-2 慕课网-学习资料预览.pdf │ │ 16-Flink快速上手篇-慕课网就业班.pdf │ │ 16-慕课网-学习资料预览.pdf │ │ 2 实战：流处理和批处理程序开发丨慕课网教程.pdf │ │ 3 Flink集群安装部署丨慕课网教程.pdf │ │ 4 Flink核心API之DataStream丨慕课网教程.pdf │ │ 5 Flink核心API之DataSet丨慕课网教程.pdf │ │ 6 Flink核心API之Table API和SQ丨慕课网教程.pdf │ │ 7 Flink核心复盘丨慕课网教程.pdf │ │ 新一代计算引擎之Flink-1.xmind │ │ │ ├─
- 第17周Flink高级进阶之路 │ │ 1-1Window的概念和类型 │ │ 1-2TimeWindow的使用 │ │ 1-3CountWindow的使用 │ │ 1-4自定义Window的使用 │ │ 1-5Window中的增量聚合和全量聚合 │ │ 1-6Flink中的Time │ │ 2-2开发Watermark代码 │ │ 2-3开发Watermark代码 │ │ 2-4通过数据跟踪观察Watermark │ │ 2-5Watermark+EventTime处理乱序数据 │ │ 2-6延迟数据的三种处理方式 │ │ 2-7在多并行度下的Watermark应用 │ │ 2-8Watermark案例总结 │ │ 3-1并行度介绍及四种设置方式 │ │ 3-2并行度案例分析 │ │ 4-1KafkaConsumer的使用 │ │ 4-2KafkaConsumer消费策略设置 │ │ 4-3KafkaConsumer的容错 │ │ 4-4KafkaProducer的使用 │ │ 4-5KafkaProducer的容错 │ │ 5-1SparkStreaming的WordCount程序开发 │ │ 5-2SparkStreaming整合Kafka │ │ 6-1本周总结+寄语 │ │ │ └─
- 第18周直播平台三度关系推荐V1.0 │ 2-1技术选型之数据采集 │ 2-2技术选型之数据存储 │ 2-3技术选型之数据计算+数据展现 │ 2-4项目整体架构设计 │ 3-1Neo4j介绍及安装部署 │ 3-2Neo4j之添加数据 │ 3-3Neo4j之查询数据 │ 3-4Neo4j之更新数据 │ 3-5Neo4j之建立索引+批量导入数据 │ 4-1数据采集架构详细设计 │ 4-2数据来源分析 │ 4-3模拟产生数据 │ 5-1数据采集聚合 │ 5-2数据分发 │ 5-3数据落盘 │ 5-4采集服务端数据库数据 │ 6-1数据计算核心指标详细分析 │ 7-10数据计算之每周一计算三度关系推荐列数据-2 │ 7-11三度关系数据导出到MySQL │ 7-1数据计算之历史粉丝关注数据初始化 │ 7-2数据计算之实时维护粉丝关注数据-1 │ 7-3数据计算之实时维护粉丝关注数据-2 │ 7-4数据计算之实时维护粉丝关注数据-3 │ 7-5数据计算之每天定时更新主播等级 │ 7-6数据计算之每天定时更新用户活跃时间 │ 7-7数据计算之每周一计算最近一个月主播视频评级-1 │ 7-8数据计算之每周一计算最近一个月主播视频评级-2 │ 7-9数据计算之每周一计算三度关系推荐列数据-1 │ 8-1总结(三度关系推荐系统V1.0) │ ├─5-
- 阶段五：综合项目：三度关系推荐系统+数据中台 │ └─
- 第19周直播平台三度关系推荐V2.0 │ 1-1V1.0架构问题分析及V2.0架构设计 │ 2-1数据计算之历史粉丝关注数据初始化 │ 2-2数据计算之实时维护粉丝关注数据-1 │ 2-3数据计算之实时维护粉丝关注数据-2 │ 2-4数据计算之每天定时更新主播等级 │ 2-5数据计算之每天更新用户活跃时间 │ 2-6数据计算之每周一计算最近一个月主播视频评级-1 │ 2-7数据计算之每周一计算最近一个月主播视频评级-2 │ └─git-master bigdata_course_materials.zip db-sparkstreaming-master.zip db_data_warehouse-master.zip db_flink-master.zip db_hadoop-master.zip db_hive-master.zip db_kafka-master.zip db_redis-master.zip db_scala-master.zip db_spark-master.zip db_video_recommend-master.zip
[衡天云]爆款云服务器 低至12元/月
![[衡天云]爆款云服务器 低至12元/月](/hty.png)