mksz322 - 新一代大数据计算引擎 Flink从入门到实战

体系课

课程简介

这门课解决什么工作场景在企业级数据架构中，很多从传统批处理（如离线数据仓库、常规定时任务）切入实时计算的工程师，往往会被流处理中的乱序数据、时间语义、状态容错以及背压等底层逻辑卡住。这套关于 Apache Flink 计算引擎的实战课，核心解决的就是从“基于离线脚本按天跑批”，跨越到“基于事件流做毫秒级实时计算与指标汇总”的技术断层。课程围绕流计算的底层…

已有 0 人浏览发布 2026-10-17 更新 2026-10-18

这门课解决什么工作场景

在企业级数据架构中，很多从传统批处理（如离线数据仓库、常规定时任务）切入实时计算的工程师，往往会被流处理中的乱序数据、时间语义、状态容错以及背压等底层逻辑卡住。这套关于 Apache Flink 计算引擎的实战课，核心解决的就是从“基于离线脚本按天跑批”，跨越到“基于事件流做毫秒级实时计算与指标汇总”的技术断层。课程围绕流计算的底层抽象，剖析实时管道构建、窗口聚合统计、复杂事件模式匹配以及与外部消息中间件集成的具体落地方式。学完之后，你能够独立搭建起高可用的流式数据处理链路，在工作中承接实时监控看板、用户行为日志实时清洗、风控规则过滤以及流式 ETL 等真实业务开发需求，清楚如何定位流计算作业在生产环境中的数据倾斜与状态积压问题。

适合基础与先看内容

本课程并不是纯零基础的编程启蒙，学习者必须具备扎实的 Java 或 Scala 编程底子，对 Linux 常用运维命令、Maven 项目构建有基本了解，且熟悉 Kafka 等消息中间件以及关系型数据库的基础读写。如果你只写过单机脚本、对分布式并行计算没有任何概念，学起来会较为吃力。进入资料包后，建议不要一上来就硬啃复杂的项目整合，先分三步推进：

第一阶段：核心概念与运行环境。先看流处理与批处理的本质区别，搞清楚本地调试模式、Standalone 集群以及 Yarn 资源调度的部署差异，把基础环境跑通。
第二阶段：DataStream API 与流计算三要素。把核心精力放在核心 API 的转换算子上，重点攻克事件时间（Event Time）与处理时间（Processing Time）的区别、水位线（Watermark）如何解决乱序延迟，以及窗口（Window）的切分策略。
第三阶段：状态管理与容错机制。必须深入研读 Checkpoint 与 State 机制，弄懂状态后端的选型，这是保证分布式任务挂掉后能够精确一次（Exactly-Once）恢复的关键，也是面试与生产排错的高频地带。

如何配合资料与代码做练习

实时计算框架极其注重动态数据流的实操反馈，光看视频演示很难掌握流式管道的运转规律。配套资料中包含完整的各章节练习源码与数据源生成逻辑，在学习过程中切忌照搬代码直接运行，应当采用“本地单步模拟加集群验证”的方式推进。你可以利用资料中的模拟脚本，在本地启动 Kafka 生成持续不断的时间戳与业务事件，自己在本地 IDEA 中断点跟踪数据经过 map、filter、keyBy 和 window 聚合时的状态变化，观察迟到数据是如何被丢弃或分流输出的。随后，脱离参考代码，独立编写一套包含维表关联、双流合并或实时大屏指标计算的完整作业，将其打包提交到本地虚拟机或测试集群中运行，通过故意制造网络延时或强行杀掉 Worker 进程，亲自体验容错机制如何生效。只有经过这样的反复调试，你才能把抽象的算子逻辑转化为可控的线上生产能力。

mksz322 - 新一代大数据计算引擎 Flink从入门到实战

本课程隶属会员库 · MK实战课（一部分是老课） / 课程盒子3-mksz300至399，完整课程目录与配套资料如下。

课程目录

第10章 Flink监控及调优/
10-1 课程目录-.mp4
10-2 historyserver概述及配置-.mp4
10-3 historyserver的使用-.mp4
10-4 historyserver rest api使用-.mp4
10-7 flink常用优化策略-.mp4
第11章 基于Flink的互联网直播平台日志分析项目实战/
11-1 课程目-.mp4
11-10 flink中watermark的定义及使用-.mp4
11-11 windowfunction业务逻辑的-.mp4
11-12 es部-.mp4
11-13 kibana部-.mp4
11-14 统计分析数据写入es并通过kibana展示出-.mp4
11-15 通过kibana图形化展示es中存储-.mp4
11-16 第一个功能-.mp4
11-17 功能二需求及数据准-.mp4
11-18 自定义mysql数据源读-.mp4
11-19 完成两个流关联的数据清洗功-.mp4
11-2 项目背-.mp4
11-20 本章节总-.mp4
11-3 项目功能需求描述-.mp4
11-4 项目架-.mp4
11-5 mock数据之kafka生产者代码主流程开发-.mp4
11-6 mock数据之kafka生产者代码日志生产开-.mp4
11-7 使用flink消费kafka生产的数据-.mp4
11-8 使用flink完成实时日志清洗功能开发-.mp4
11-9 数据清洗过程中添加业务逻辑条件的过滤-.mp4
第1章 初识Flink/
1-10 如何以正确的姿势来学习flin-.mp4
1-3 课程目录-.mp4
1-7 业界流处理框架对比-.mp4
第2章 快速上手开发第一个Flink应用程序/
2-1 课程目录-.mp4
2-10 flink批处理应用scala开发之功能实现-.mp4
2-11 使用java和scala开发flink应用程序对比-.mp4
2-12 flink实时处理应用java开发之功能实现-.mp4
2-13 flink实时处理应用java开发之代码重构-.mp4
2-14 flink实时处理应用scala开发之代码重构-.mp4
2-15 开发过程中依赖的注意事项-.mp4
2-2 开发环境准备之jdk安装-.mp4
2-3 开发环境准备之maven安-.mp4
2-4 开发环境准备之idea安-.mp4
2-5 flink批处理应用开发之需求描述-.mp4
2-6 flink批处理应用java开发之环境准备-.mp4
2-7 flink批处理应用开发之八股文编程-.mp4
2-8 flink批处理应用java开发之功能实现-.mp4
2-9 flink批处理应用scala开发之环境准备-.mp4
第3章 编程模型及核心概念/
3-1 课程目录- (2).mp4
3-10 flink支持的数据类型- (2).mp4
3-2 核心概念概述- (2).mp4
3-7 指定key之字段表达式- (2).mp4
3-8 指定key之key选择器函数- (2).mp4
3-9 指定转换函数- (2).mp4
第4章 DataSet API编程/
4-1 课程目录-.mp4
4-10 从递归文件夹的内容创建dataset之scala实现-.mp4
4-11 从压缩文件中创建dataset之scala实现-.mp4
4-13 transformation函数map之scala实现-.mp4
4-14 transformation函数map之java实现-.mp4
4-15 transformation函数filter之scala实现-.mp4
4-16 transformation函数filter之java实现-.mp4
4-17 transformation函数mappartition之scala实现-.mp4
4-18 transformation函数mappartition之java实现-.mp4
4-19 transformation函数first之scala实现-.mp4
4-20 transformation函数first之java实现-.mp4
4-21 transformation函数flatmap之scala实现-.mp4
4-22 transformation函数flatmap之java实现-.mp4
4-23 transformation函数distinct之scala和java实现-.mp4
4-24 transformation函数join之scala实现-.mp4
4-25 transformation函数outerjoin之scala实现-.mp4
4-26 transformation函数join之java实现-.mp4
4-27 transformation函数outerjoin之java实现-.mp4
4-28 transformation函数cross之scala实现-.mp4
4-29 transformation函数cross之java实现-.mp4
4-3 flink综合java和scala开发的项目构建creenflow-.mp4
4-31 sink函数scala实现-.mp4
4-32 sink函数java实现-.mp4
4-33 通过案例引入flink的计数器-.mp4
4-34 基于flink编程的计时器之scala实现-.mp4
4-35 基于flink编程的计时器之java实现-.mp4
4-36 基于flink的分布式缓存功能的scala实现.-.mp4
4-37 基于flink的分布式缓存功能的java实现-.mp4
4-38 本章节小结及作业-.mp4
4-4 data source瀹忚姒傝堪-.mp4
4-5 从集合创建dataset之scala实现-.mp4
4-6 从集合创建dataset之java实现-.mp4
4-7 从文件或者文件夹创建dataset之scala实现-.mp4
4-8 从文件或者文件夹创建dataset之java实现-.mp4
4-9 从csv文件创建dataset之scala实现-.mp4
第5章 DataStream API编程/
5-1 datastream api缂栫▼姒傝堪-.mp4
5-10 transformation函数union之scala和java实现-.mp4
5-11 transformation函数split和select之scala实现-.mp4
5-12 transformation函数split和select之java实现-.mp4
5-14 自定义sink之功能测试-.mp4
5-2 从socket创建datastream之java实现-.mp4
5-3 从socket创建datastream之scala实现-.mp4
5-4 自定义数据源方式sourcefunction之scala实现-.mp4
5-5 自定义数据源方式parallelsourcefunction之scala实现-.mp4
5-6 自定义数据源方式richparallelsourcefunction之scala实现-.mp4
5-7 自定义数据源方式之java实现-.mp4
5-8 transformation函数map和filter之scala实现-.mp4
5-9 transformation函数map和filter之java实现-.mp4
同类型课程.jpg
第6章 Flink Table API & SQL编程/
6-1 课程目录- (2).mp4
6-2 什么是flink关系型api- (2).mp4
6-4 使用scala完成table api&sql功能的开发- (2).mp4
6-5 使用java完成table api&sql功能的开发- (2).mp4
6-6 table api&sql其他功能介绍- (2).mp4
第7章 Flink中的Time及Windows的使用/
7-1 课程目录-.mp4
7-10 tumbling windows java编程-.mp4
7-11 sliding windows详解及scala编程-.mp4
7-12 window functions之reducefunction的scala实现-.mp4
7-13 window functions之reducefunction的java实现-.mp4
7-14 window functions之processwindowfunction的java实现-.mp4
7-5 如何在flink中指定time的类型-.mp4
7-6 windows概述-.mp4
7-8 基于time和count的windows-.mp4
7-9 tumbling windows详解及scala编程-.mp4
下载必看.txt
第8章 Flink Connectors/
8-1 课程目录-.mp4
8-1 课程目录-_20200412185829.mp4
8-11 flink整合kafka的offset管理及exactly_once语义-.mp4
8-12 flink整合kafka的checkpoint常用参数设置梳理-.mp4
8-3 hdfs connector的使用-_20200412185829.mp4
8-4 kafka connector概述-.mp4
8-4 kafka connector概述-_20200412185829.mp4
8-5 ootb环境的使用-.mp4
8-5 ootb环境的使用-_20200412185829.mp4
8-6 zookeeper部署-.mp4
8-6 zookeeper部署-_20200412185829.mp4
8-7 kafka部署及测试-.mp4
8-7 kafka部署及测试-_20200412185829.mp4
8-8 flink对接kafka作为source使用-.mp4
8-8 flink对接kafka作为source使用-_20200412185833.mp4
8-9 flink对接kafka作为sink使用-.mp4
第9章 Flink部署及作业提交/
9-1 课程目录- (2).mp4
9-10 如何查找需要配置的flink参数及ui对应关系介绍- (2).mp4
9-11 flink scala shell的使用- (2).mp4
9-2 flink部署准备及源码编译- (2).mp4
9-3 单机模式部署及代码提交测试- (2).mp4
9-4 flink standalone模式部署及参数详解- (2).mp4
9-5 hadoop集群快速搭建- (2).mp4
9-6 flink on yarn两种方式- (2).mp4
9-7 flink on yarn第一种模式实操- (2).mp4
9-8 flink on yarn第二种模式实操- (2).mp4
课程资料/
hadoop000/
代码资料.zip
资料说明u.txt