会员已迁移至飞豹客。请前往飞豹客登录,原账号和有效会员可继续使用。
getfromcode

尚硅谷大数据项目之Flink实时数仓4.0

云计算
课程简介

尚硅谷大数据项目之Flink实时数仓4.0 Flink实时数仓实战演练 编辑点评 深入Flink实时数仓架构,实战项目案例丰富,适合有大数据背景的学习者。 ⭐ 编辑推荐 本课程深入讲解Flink实时数仓架构,通过实战项目案例,帮助学习者掌握Flink实时数据处理技术。 ✨ 课程亮点 ✦ Flink实时数仓架构解析 ✦ 实战项目案例丰富 ✦ 适合大数据背景学…

已有 8 人浏览 发布 2026-05-25 更新 2026-09-22

尚硅谷大数据项目之Flink实时数仓4.0

Flink实时数仓实战演练

编辑点评

深入Flink实时数仓架构,实战项目案例丰富,适合有大数据背景的学习者。

⭐ 编辑推荐

本课程深入讲解Flink实时数仓架构,通过实战项目案例,帮助学习者掌握Flink实时数据处理技术。

✨ 课程亮点

✦Flink实时数仓架构解析
✦实战项目案例丰富
✦适合大数据背景学习者

课程目录

📁 视频
视频必看.png [493.5 KB]
101_DWS_流量域各粒度用户访问数据添加状态存活时间.mp4 [22.1 MB]
156_DWS回顾.mp4 [81.4 MB]
13_gitlab的安装部署.mp4 [543.2 MB]
115_dws模块回顾.mp4 [22.8 MB]
72_DWD_base_db需求读取主流和配置表数据.mp4 [84.7 MB]
40_DWD_数据源分析.mp4 [78.0 MB]
58_DWD_筛选加购事务表明细数据.mp4 [100.4 MB]
120_DWS_维度关联补全sku_info信息.mp4 [194.0 MB]
63_DWD_下单明细表写出到kafka实现.mp4 [79.7 MB]
05_实时数仓框架选型-ods dwd和dim.mp4 [47.5 MB]
145_合并gitlab代码请求.mp4 [26.3 MB]
136_DWS_各省份窗口下单聚合统计.mp4 [82.0 MB]
127_DWS_旁路缓存回顾.mp4 [47.2 MB]
27_DIM_对主流数据进行清洗过滤.mp4 [134.2 MB]
45_DWD_日志拆分需求新旧访客修复代码测试.mp4 [256.3 MB]
129_DWS_异步连接的获取.mp4 [36.5 MB]
60_DWD_下单事务事实表需求分析.mp4 [33.7 MB]
126_DWS_度量值去重回顾.mp4 [59.1 MB]
02_实时数仓和离线数仓的概述区别.mp4 [27.9 MB]
82_DWS_doris的fe缩容及群起脚本.mp4 [20.8 MB]
73_DWD_base_db合并处理事实表数据.mp4 [89.3 MB]
21_DIM_baseAPP使用演示.mp4 [64.4 MB]
15_gitlab兼容IDEA实现提交推送项目.mp4 [36.8 MB]
114_dim和dwd模块代码回顾.mp4 [68.2 MB]
36_DIM_HBase写入数据和删除数据的方法编写.mp4 [87.2 MB]
55_DWD_baseSQLAPP封装实现及使用方法.mp4 [22.5 MB]
157_部署及可视化回顾.mp4 [25.2 MB]
43_DWD_日志拆分需求数据清洗ETL处理.mp4 [56.9 MB]
152_Flink实时数仓代码结构设计回顾.mp4 [49.9 MB]
28_DIM_读取配置表数据.mp4 [57.8 MB]
52_DWD_LookUp join使用场景介绍.mp4 [82.3 MB]
42_DWD_日志拆分需求分析.mp4 [42.2 MB]
108_DWS_用户登录统计数据聚合写出到doris.mp4 [71.1 MB]
95_DWS_关键字分组开窗聚合统计.mp4 [59.7 MB]
83_DWS_doris的数据模型agg模型介绍.mp4 [114.6 MB]
35_DIM_预加载配置表信息避免数据丢失功能实现.mp4 [79.4 MB]
37_DIM_写出数据到HBase的代码编写.mp4 [31.9 MB]
84_DWS_doris的数据模型唯一与可重复模型介绍.mp4 [17.1 MB]
07_实时数仓和实时计算及离线计算的比较.mp4 [14.1 MB]
68_DWD_支付成功需求使用interval join完成表格关联.mp4 [110.8 MB]
56_DWD_评论事实表完成HBase的lookup_join.mp4 [91.2 MB]
142_streamPark编译部署项目.mp4 [289.4 MB]
84_DWS_doris的分区分桶.mp4 [55.7 MB]
141_streamPark使用设置.mp4 [154.0 MB]
87_DWS_doris的动态分区原理介绍.mp4 [44.4 MB]
18_ODS_确保数据源时间有序的方法介绍.mp4 [41.4 MB]
106_DWS_用户登录统计需求过滤数据.mp4 [64.8 MB]
131_DWS_flink异步算子实现维度关联.mp4 [42.8 MB]
24_DIM_动态拆分维度表功能实现的选择介绍.mp4 [54.1 MB]
41_DWD_日志拆分需求代码结构介绍.mp4 [35.6 MB]
130_DWS_flink异步算子使用编写.mp4 [151.1 MB]
81_DWS_doris的fe扩容.mp4 [52.6 MB]
32_DIM_使用配置流信息创建HBase表格.mp4 [75.3 MB]
70_DWD_支付成功需求写出数据.mp4 [177.2 MB]
66_DWD_支付成功需求筛选支付成功数据.mp4 [44.5 MB]
65_DWD_支付成功事实表需求分析.mp4 [50.4 MB]
74_DWD_base_db数据写出.mp4 [114.6 MB]
109_DWS_用户注册统计需求分析.mp4 [30.1 MB]
89_DWS_doris的rollup介绍.mp4 [51.0 MB]
96_DWS_关键词开窗统计数据写出到doris.mp4 [145.9 MB]
34_DIM_使用JDBC工具预加载配置表信息避免主流数据丢失.mp4 [96.5 MB]
94_DWS_完成关键词的拆分工作.mp4 [23.7 MB]
128_DWS_异步IO介绍.mp4 [30.1 MB]
119_DWS_商品粒度聚合统计.mp4 [51.9 MB]
137_项目部署上线介绍.mp4 [37.2 MB]
11_git分支流程介绍.mp4 [31.2 MB]
133_DWS_完整封装模板方法实现维度关联.mp4 [91.7 MB]
12_idea中的代码结构部署.mp4 [69.9 MB]
16_实时数仓架构搭建-flink和hbase的安装部署.mp4 [93.5 MB]
90_DWS_doris的物化视图.mp4 [58.0 MB]
03_实时数仓的完整架构.mp4 [54.4 MB]
26_DIM_核心业务逻辑介绍.mp4 [26.7 MB]
97_DWS_流量域各粒度用户页面访问窗口聚合需求分析.mp4 [25.7 MB]
103_DWS_首页详情页独立访客判断代码实现.mp4 [98.4 MB]
62_DWD_下单明细表完成四个表格的join操作.mp4 [69.3 MB]
117_DWS_sku商品粒度过滤添加水位线.mp4 [89.5 MB]
154_ODS层回顾.mp4 [29.2 MB]
116_DWS_sku商品下单需求分析.mp4 [54.6 MB]
31_DIM_HBase删除表格API编写.mp4 [23.0 MB]
143_streamPark上线任务演示.mp4 [101.4 MB]
144_streamPark使用检查点重启任务.mp4 [15.5 MB]
14_gitlab用户创建和管理.mp4 [71.3 MB]
51_DWD_flinkSQL的基础原理介绍.mp4 [46.7 MB]
22_DIM_基类添加webUI页面介绍.mp4 [24.1 MB]
57_DWD_评论事实表完成数据写出.mp4 [63.5 MB]
132_DWS_模板方法初步封装.mp4 [113.0 MB]
86_DWS_doris的复合分区和多列分区介绍.mp4 [25.2 MB]
138_streamPark概述介绍.mp4 [26.3 MB]
01_Flink最新电商数据课程介绍.mp4 [21.3 MB]
53_DWD_LookUp join具体使用演示.mp4 [36.7 MB]
100_DWS_流量域各粒度用户访问数据写出到doris.mp4 [141.7 MB]
110_DWS_用户注册需求实现.mp4 [170.4 MB]
139_streamPark的解压部署.mp4 [46.1 MB]
29_DIM_HBase创建关闭连接.mp4 [502.7 MB]
39_DIM_代码与功能回顾.mp4 [93.0 MB]
92_DWS_热词开窗统计筛选关键字.mp4 [119.7 MB]
09_数仓设计回顾.mp4 [51.3 MB]
78_DWS_doris单台后端的安装部署.mp4 [42.2 MB]
124_DWS_添加redis作为旁路缓存.mp4 [153.2 MB]
📁 资料
资料必看.png [493.5 KB]
13.gitlab.exe [1.2 GB]
10.redis.exe [2.5 MB]
5.zookeeper.exe [12.4 MB]
9.hbase.exe [270.6 MB]
4.kafka.exe [100.5 MB]
11.doris.exe [3.6 GB]
8.mock.exe [34.9 MB]
6.mysql.exe [90.1 MB]
2.hadoop.exe [663.5 MB]
14.streampark.exe [206.5 MB]
3.flume.exe [85.2 MB]
7.maxwell.exe [63.2 MB]
12.flink.exe [448.0 MB]
1.jdk.exe [186.3 MB]
代码.exe [544.3 KB]
笔记.exe [36.8 MB]

适合人群

  • 大数据工程师
  • 数据分析师
  • Flink开发者

🎯 学习收获

  • 掌握Flink实时数据处理技术
  • 了解实时数仓架构设计
  • 提升大数据项目实战能力

🎉 祝您学习愉快!

课程目录

001.教程简介
002.基础_数仓基本概念
003.基础_离线数仓架
004.基础_实时数仓架构
005.基础_ER模型和维度建模
006.基础_事实表和维度表
007.基础_数仓构建流程
008.基础_项目架构以及代码版本控制方式介绍
009.基础_IDEA开发环境搭建
010.环境准备_GitLab的安装
011.环境准备_GitLab的其它配置
012.环境准备_创建用户以及群组
013.环境准备_将初始代码推送到GitLab仓库
014.环境准备_设置Kafka分区数
015.ODS_日志数据采集
016.ODS_配置binlog记录业务数据变化
017.ODS_Maxwell的安装与配置
018.ODS_Maxwell同步数据测试
019.DIM_思路分析_基本流程
020.DIM_思路分析_引入配置表
021.DIM_思路分析_引入FlinkCDC
022.DIM_思路分析_配置表字段完善
023.DIM_FlinkCDC的使用
024.DIM_配置表的创建以及切换开发分支
025.DIM_开发思路分析
026.DIM_基本环境准备以及检查点设置
027.DIM_从Kafka主题中读取数据
028.DIM_转换流中数据类型以及Maxwell问题说明
029.DIM_使用FlinkCDC读取配置表数据
030.DIM_将配置流数据类型封装为实体类对象
031.DIM_封装HBaseUtil工具类
032.DIM_在HBase中建表
033.DIM_广播配置流并和主流进行关联
034.DIM_处理广播流数据
035.DIM_处理主流数据
036.DIM_过滤掉不需要传递的字段
037.DIM_主流数据先到问题分析
038.DIM_在open方法中预加载配置信息
039.DIM_将维度数据同步到HBase表中
040.DIM_封装FlinkSourceUtil工具类
041.DIM_抽取单独的处理函数类
042.DIM_抽取BaseApp基类
043.DIM_抽取方法
044.DIM_封装JdbcUtil工具类
045.DIM_DIM层总结
046.DWD_DWD层介绍
047.DWD_日志分流思路分析
048.DWD_开发思路分析
049.DWD_将脏数据放到侧输出流
050.DWD_创建KafkaSink对象以及Kafka一致性保证
051.DWD_抽取FlinkSinkUtil以及脏数据写到Kafka
052.DWD_新老访客标记修复思路
053.DWD_新老访客标记修复代码实现
054.DWD_埋点日志结构分析
055.DWD_分流代码实现
056.DWD_将不同流的数据写到Kafka主题
057.DWD_抽取方法以及提交代码到GitLab
058.DWD_评论事实表思路分析
059.DWD_FlinkAPI双流Join介绍
060.DWD_内连接
061.DWD_左外连接
062.DWD_右外连接以及全外连接
063.DWD_左外连接结果写到Kafka主题
064.DWD_从Kafka主题中读取数据
065.DWD_从HBase表中读取数据
066.DWD_lookupJoin关联
067.DWD_将关联结果写到Kafka主题
068.DWD_评论事实表开发思路以及环境准备
069.DWD_从topic_db主题中读取数据
070.DWD_过滤出评论数据
071.DWD_从Hbase中读取字典表数据
072.DWD_关联评论表和字典表
073.DWD_将关联的结果写到Kafka主题
074.DWD_抽取工具类封装获取连接器属性的方法
075.DWD_抽取BaseSQLApp基类以及通用的建表方法
076.DWD_加购事实表开发思路分析
077.DWD_过滤出insert类型的加购数据
078.DWD_过滤出update类型的加购数据以及写到Kafka
079.DWD_下单事实表思路分析
080.DWD_下单事实表代码实现
081.DWD_取消订单事实表整体实现
082.DWD_支付成功事实表思路分析
083.DWD_支付成功事实表代码实现
084.DWD_退单事实表整体实现(了解业务)
085.DWD_退款成功事实表整体实现(了解业务)
086.DWD_其它事实表实现思路分析
087.DWD_事实表动态分流思路
088.DWD_开发思路分析
089.DWD_业务数据以及配置表数据读取
090.DWD_在open方法中预加载配置信息
091.DWD_处理广播流中的配置信息
092.DWD_处理主流中的业务数据
093.DWD_将动态分流的事实表写到Kafka主题
094.DWS层介绍
095.Doris_Doris介绍
096.Doris_安装前准备工作
097.Doris_Doris安装以及FE的配置
098.Doris_BE的配置
099.Doris_FE与BE的扩容和缩容
100.Doris_基本概念
101.Doris_Aggregate模型
102.Doris_Unique模型和Duplicate模型
103.Doris_建表其它操作
104.Doris_Range分区
105.Doris_List分区以及分区相关概念
106.Doris_动态分区
107.Doris_Rollup表
108.Doris_物化视图
109.Doris_Flink读写Doris_SQL
110.Doris_Flink读写Doris_API
111.DWS_搜索关键词思路分析
112.DWS_分词工具类
113.DWS_自定义UDTF函数
114.DWS_开发思路分析
115.DWS_读取页面日志数据创建动态表
116.DWS_过滤出搜索行为
117.DWS_分词并和原表字段进行关联
118.DWS_分组、开窗、聚合计算
119.DWS_将聚合结果写到Doris
120.DWS_版本、渠道、地区、新老访客聚合统计思路分析
121.DWS_读取数据并封装为统计的实体类对象
122.DWS_指定Watermark的生成策略
123.DWS_分组、开窗
124.DWS_聚合
125.DWS_将聚合结果写到Doris中
126.DWS_首页、详情页聚合统计思路分析
127.DWS_首页、详情页聚合统计代码实现
128.DWS_独立用户以及回流用户聚合统计思路分析
129.DWS_独立用户以及回流用户聚合统计代码实现
130.DWS_加购独立用户思路分析
131.DWS_加购独立用户代码实现
132.DWS_SKU粒度下单聚合统计需求分析
133.DWS_SKU粒度下单聚合统计开发思路
134.DWS_从Kafka中读取数据并转换为JSON对象
135.DWS_状态+定时器实现去重
136.DWS_状态+抵消实现去重
137.DWS_封装为统计的实体类对象
138.DWS_分组、开窗、聚合计算以及测试可能遇到的问题
139.DWS_在HBaseUtil中封装查询维度的方法
140.DWS_维度关联最基本的实现方式
141.DWS_旁路缓存思路分析
142.DWS_封装RedisUtil工具类
143.DWS_在Redis工具类提供读写数据的方法
144.DWS_旁路缓存代码实现
145.DWS_维度数据发生变化清除缓存数据
146.DWS_关联SPU维度
147.DWS_抽取旁路缓存模板
148.DWS_通过旁路缓存模板关联SKU维度
149.DWS_异步IO介绍
150.DWS_封装异步操作Redis的方法
151.DWS_封装异步操作HBase的方法
152.DWS_发送异步请求关联Sku维度的基本实现
153.DWS_发送异步请求关联Spu维度以及抽取模板
154.DWS_发送异步关联维度模板代码实现
155.DWS_发送异步请求关联SKU维度
156.DWS_关联其它维度并将结果写到Doris
157.DWS_Sku粒度下单聚合统计总结
158.DWS_省份粒度下单聚合统计
159.DWS_去重
160.DWS_封装统计的实体类对象
161.DWS_分组、开窗、聚合计算
162.DWS_关联维度并将结果写到Doris
163.ADS_ADS层介绍
164.ADS_环境准备
165.ADS_总交易额统计思路分析
166.ADS_总交易额统计代码实现
167.ADS_总交易额大屏展示
168.ADS_省份交易额统计思路分析
169.ADS_省份交易额统计代码实现
170.ADS_渠道独立访客数统计思路分析
171.ADS_渠道独立访客数统计代码实现
172.ADS_渠道独立访客大屏展示以及常见错误避坑
173.ADS_总交易额实时展示
174.部署_打包
175.部署_部署前准备工作
176.部署_手动部署到服务器
177.部署_StreamPark介绍
178.部署_StreamPark安装
179.部署_StreamPark其它配置
180.部署_StreamPark中新建项目
181.部署_构建项目
182.部署_发布启动作业
183.部署_合并分支
184.教程总结
课程购买
课程价格
金币29.9
299金币限时优惠会员免费
销量:0
💎 开通会员每日免费下载,比单买更划算 →
支付成功后会自动显示下载资源云盘的链接!点击链接即可下载到本地。