2024年Flink实时数仓项目5.0教程

解决什么问题这门课程专注于解决企业在构建实时数仓过程中遇到的各种挑战，特别是如何高效地采集、同步和处理来自不同数据源的数据。通过学习本课程，开发者可以掌握从基础概念到具体实践的全流程，包括如何利用 Apache Flink 实现数据的实时处理和同步，以及如何构建稳定可靠的数据仓库。适合什么基础

单课价¥29.90新品上架

会员价 会员免费开通会员，全站课程按额度无限下载套餐详情

2 人关注更新于 2026-10-02 永久有效

发货

网盘链接 · 支付成功后自动发货

保障

永久有效 · 链接失效免费补发

客服

每日 9:00-21:00 在线客服联系客服

购买方式开通会员 · 全站免费下单课购买 · 仅本课

支付成功后自动显示网盘下载链接；链接失效可联系客服免费补链，永久有效。

正版保障极速发货售后无忧

解决什么问题

这门课程专注于解决企业在构建实时数仓过程中遇到的各种挑战，特别是如何高效地采集、同步和处理来自不同数据源的数据。通过学习本课程，开发者可以掌握从基础概念到具体实践的全流程，包括如何利用 Apache Flink 实现数据的实时处理和同步，以及如何构建稳定可靠的数据仓库。

适合什么基础

本课程适合有一定 Java 和 Flink 开发经验的开发者，以及对实时数仓有初步了解但希望深入学习的开发者。对于完全初学者，建议先学习一些基础的 Flink 相关知识和 Java 开发经验。

建议先看哪几块

建议新开发者首先观看第 2 到第 7 节，以了解数仓的基本概念和架构。接着，可以深入学习第 8 节到第 14 节的环境搭建部分，确保开发环境配置正确。对于实时数仓的具体实践，可以从第 15 节的 ODS 数据采集开始，逐步学习到第 40 节的 HBase 数据同步。

学完能独立做什么

学完本课程后，开发者将能够独立构建一个完整的实时数仓系统，包括从日志数据采集、配置表和维度表的同步，到数据类型转换和实时数据处理。开发者可以利用本课程提供的工具库和代码框架，快速搭建和部署自己的实时数仓项目。

资料怎么配合练习

资料包提供了详细的教程和项目代码，建议结合实际的项目需求进行练习。首先，根据第 9 节的项目架构和第 10 到第 14 节的环境准备，搭建好开发环境。然后，通过观看 ODS 和 DIM 的具体实现（第 15 到第 40 节），利用提供的代码框架进行实际操作。最后，参考第 41 节的代码版本控制方式，将代码推送到 GitLab 仓库，进行版本管理和团队协作。

课程目录

001.教程简介
002.基础_数仓基本概念
003.基础_离线数仓架
004.基础_实时数仓架构
005.基础_ER模型和维度建模
006.基础_事实表和维度表
007.基础_数仓构建流程
008.基础_项目架构以及代码版本控制方式介绍
009.基础_IDEA开发环境搭建
010.环境准备_GitLab的安装
011.环境准备_GitLab的其它配置
012.环境准备_创建用户以及群组
013.环境准备_将初始代码推送到GitLab仓库
014.环境准备_设置Kafka分区数
015.ODS_日志数据采集
016.ODS_配置binlog记录业务数据变化
017.ODS_Maxwell的安装与配置
018.ODS_Maxwell同步数据测试
019.DIM_思路分析_基本流程
020.DIM_思路分析_引入配置表
021.DIM_思路分析_引入FlinkCDC
022.DIM_思路分析_配置表字段完善
023.DIM_FlinkCDC的使用
024.DIM_配置表的创建以及切换开发分支
025.DIM_开发思路分析
026.DIM_基本环境准备以及检查点设置
027.DIM_从Kafka主题中读取数据
028.DIM_转换流中数据类型以及Maxwell问题说明
029.DIM_使用FlinkCDC读取配置表数据
030.DIM_将配置流数据类型封装为实体类对象
031.DIM_封装HBaseUtil工具类
032.DIM_在HBase中建表
033.DIM_广播配置流并和主流进行关联
034.DIM_处理广播流数据
035.DIM_处理主流数据
036.DIM_过滤掉不需要传递的字段
037.DIM_主流数据先到问题分析
038.DIM_在open方法中预加载配置信息
039.DIM_将维度数据同步到HBase表中
040.DIM_封装FlinkSourceUtil工具类
041.DIM_抽取单独的处理函数类
042.DIM_抽取BaseApp基类
043.DIM_抽取方法
044.DIM_封装JdbcUtil工具类
045.DIM_DIM层总结
046.DWD_DWD层介绍
047.DWD_日志分流思路分析
048.DWD_开发思路分析
049.DWD_将脏数据放到侧输出流
050.DWD_创建KafkaSink对象以及Kafka一致性保证
051.DWD_抽取FlinkSinkUtil以及脏数据写到Kafka
052.DWD_新老访客标记修复思路
053.DWD_新老访客标记修复代码实现
054.DWD_埋点日志结构分析
055.DWD_分流代码实现
056.DWD_将不同流的数据写到Kafka主题
057.DWD_抽取方法以及提交代码到GitLab
058.DWD_评论事实表思路分析
059.DWD_FlinkAPI双流Join介绍
060.DWD_内连接
061.DWD_左外连接
062.DWD_右外连接以及全外连接
063.DWD_左外连接结果写到Kafka主题
064.DWD_从Kafka主题中读取数据
065.DWD_从HBase表中读取数据
066.DWD_lookupJoin关联
067.DWD_将关联结果写到Kafka主题
068.DWD_评论事实表开发思路以及环境准备
069.DWD_从topic_db主题中读取数据
070.DWD_过滤出评论数据
071.DWD_从Hbase中读取字典表数据
072.DWD_关联评论表和字典表
073.DWD_将关联的结果写到Kafka主题
074.DWD_抽取工具类封装获取连接器属性的方法
075.DWD_抽取BaseSQLApp基类以及通用的建表方法
076.DWD_加购事实表开发思路分析
077.DWD_过滤出insert类型的加购数据
078.DWD_过滤出update类型的加购数据以及写到Kafka
079.DWD_下单事实表思路分析
080.DWD_下单事实表代码实现