这个项目围绕快餐点餐场景,做一套完整的离线数据仓库。它不追求炫技,重点是把数仓从需求分析到数据加载的链路走通,并且把每一步的取舍讲清楚。适合已经会写 SQL、用过 Hive 或 Spark,但没独立完整做过一个数仓项目的开发者拿来自学对照。 技术栈与整体思路 课程用的是离线数仓的经典组合:以 Hive 为核心做分层建模,配合 Spark 完成计算,底层依赖…
这个项目围绕快餐点餐场景,做一套完整的离线数据仓库。它不追求炫技,重点是把数仓从需求分析到数据加载的链路走通,并且把每一步的取舍讲清楚。适合已经会写 SQL、用过 Hive 或 Spark,但没独立完整做过一个数仓项目的开发者拿来自学对照。
课程用的是离线数仓的经典组合:以 Hive 为核心做分层建模,配合 Spark 完成计算,底层依赖 Hadoop 生态的存储与调度。它没有把技术选型当结论直接给出,而是从快餐点餐的业务数据量、更新频率、查询模式反推该用什么。这种推导过程比记住「数仓就该用 Hive」更有用,因为换成别的业务你也能重新判断一次。
离线链路的特点是数据按天或按批进入,允许一定延迟,换来的是稳定和可重跑。课程把这条链路的每个环节拆开讲:数据从哪来、在哪些层之间流转、每层解决什么问题,而不是一上来就堆 SQL。
前面几节先把地基打好。数仓架构部分会讲分层的基本逻辑,比如 ODS 贴源、DWD 明细、DWS 汇总、ADS 应用各层职责怎么切分,为什么要这么分。接着是系统数据流程设计,把数据从业务系统到最终报表的路径画清楚,这一步决定了后面每张表的定位。
资源规划这块容易被跳过,但课程专门给了服务器选型、集群规模和资源规划的内容。实际动手时,很多人卡在环境起不来或者跑得慢,问题往往出在规划阶段。先想清楚要几台机器、内存怎么分、YARN 队列怎么配,再动手装,能省掉大量返工。
跟着做下来,你会得到一套可以拆开复用的东西:分层建表规范、维度与事实表的划分方式、常用指标的口径定义、以及数据加载和校验的脚本结构。快餐点餐的业务本身不复杂,订单、菜品、门店、时间这几个维度就能覆盖大部分分析需求,正因为不复杂,才适合把建模动作看清楚。
把这份资料当模板用是合理的:换成零售、外卖、票务,分层的骨架和加载流程基本能平移,需要改的是业务字段和指标口径。建议边看边自己建表、自己写加载逻辑,而不是只看视频里的结果。
如果你需要一份能对照实践的离线数仓参考,这个项目值得放进学习清单。它的价值不在于快餐这个主题,而在于把一套数仓项目的完整动作——需求、架构、选型、规划、建模、加载——摊开给你看。看的时候带着问题:这一步为什么这么做,换一种做法会怎样。能回答这些问题,才算真正把这套东西学进去。
实战打造快餐点餐数仓项目
深入浅出,从架构设计到数据加载,全面解析快餐行业数据仓库实战。
实战教程,带你从零开始搭建快餐点餐数仓,掌握离线数据处理全流程。
├──视频 | ├──01-课程内容介绍与数仓概念.mp4 20.05M | ├──02-数据仓库架构.mp4 13.04M | 鈹溾攢鈹€03-鎶€鏈€夊瀷.mp4 50.29M | ├──04-系统数据流程设计.mp4 19.34M | ├──05-项目需求分析.mp4 16.43M | ├──06-服务器选型.mp4 12.98M | ├──07-集群规模.mp4 11.61M | ├──08-资源规划设计.mp4 28.55M | ├──09-安装虚拟机.mp4 59.15M | 鈹溾攢鈹€10-ssh鍏嶅瘑.mp4 40.06M | ├──100-dim层每日数据加载脚本.mp4 30.58M | ├──102-下单事务型事实表建表.mp4 20.77M | ├──103-下单事实表首日数据加载.mp4 46.06M | ├──104-下单事实表每日数据加载.mp4 21.94M | ├──105-支付成功事实表首日数据加载.mp4 63.94M | ├──106-支付成功事实表每日数据加载.mp4 36.13M | ├──107-退单事实表首日数据加载.mp4 54.92M | ├──108-退单事实表每日数据加载.mp4 34.55M | ├──109-退款成功事实表首日数据加载.mp4 36.91M | ├──11-分发脚本.mp4 52.54M | ├──110-退款成功每日数据加载.mp4 24.27M | ├──111-评价事实表首日数据加载.mp4 37.87M | ├──112-评价事实表每日数据加载.mp4 22.42M | ├──113-dwd首日数据加载脚本.mp4 52.59M | ├──114-dwd每日数据加载脚本.mp4 40.09M | 鈹溾攢鈹€115-dws璁捐瑕佺偣.mp4 27.14M | ├──116-交易域店铺粒度用户下单最近 1 日汇总表.mp4 84.80M | ├──117-交易域店铺粒度用户支付成功最近 1 日汇总表.mp4 66.54M | ├──118-交易域店铺粒度退款成功最近 1 日汇总表.mp4 32.59M | ├──119-交易域营销活动粒度用户下单最近 1 日汇总表.mp4 35.40M | ├──12-安装jdk.mp4 39.22M | ├──120-交易域菜品规格粒度用户下单最近 1 日汇总表.mp4 43.55M | ├──121-交易域套餐粒度用户下单最近 1 日汇总表.mp4 21.38M | ├──122-互动域菜品粒度用户评价最近 1 日汇总表.mp4 42.00M | ├──123-互动域套餐粒度用户评价最近 1 日汇总表.mp4 22.98M | ├──124-互动域店铺粒度用户评价最近 1 日汇总表.mp4 18.50M | ├──125-dws 1d表首日数据加载脚本.mp4 74.56M | ├──126-dws 1d表每日数据加载脚本.mp4 47.80M | ├──127-交易域店铺粒度用户下单最近 n 日汇总表.mp4 177.64M | ├──128-交易域店铺粒度用户支付成功最近 n 日汇总表.mp4 34.29M | ├──129-交易域店铺粒度退款成功最近 n 日汇总表.mp4 17.53M | ├──13-环境变量配置说明.mp4 12.85M | ├──130-交易域营销活动粒度用户下单最近 n 日汇总表.mp4 103.85M | ├──131-交易域菜品规格粒度用户下单最近 n 日汇总表.mp4 97.84M | ├──132-易域套餐粒度用户下单最近 n 日汇总表.mp4 36.18M | ├──133-互动域菜品粒度用户评价最近 n 日汇总表.mp4 34.59M | ├──134-互动域套餐粒度用户评价最近 n 日汇总表.mp4 24.46M | ├──135-互动域店铺粒度用户评价最近 n 日汇总表.mp4 18.17M | ├──136-dws nd数据加载脚本.mp4 60.32M | ├──137-各店铺交易统计.mp4 82.88M | ├──138-各经营模式交易统计.mp4 90.00M | ├──139-各省份交易统计.mp4 91.88M | ├──14-餐饮业务简介.mp4 17.52M | ├──140-各城市交易统计.mp4 110.64M | ├──141-各时段交易统计.mp4 13.14M | ├──142-订单减免统计.mp4 15.61M | ├──143-各店铺订单减免统计.mp4 14.10M | ├──144-优惠分摊统计.mp4 25.93M | ├──145-营销活动优惠统计.mp4 13.67M | ├──146-菜品规格交易统计.mp4 19.19M | ├──147-菜品交易统计.mp4 67.35M | ├──148-菜品分类交易统计.mp4 42.04M | ├──149-菜品交易分时统计.mp4 21.04M | ├──15-餐饮系统表结构说明.mp4 21.73M | ├──150-套餐交易统计.mp4 10.36M | ├──151-套餐交易分时统计.mp4 18.40M | ├──152-最近 1 日菜品规格活动减免(下单)金额Top10.mp4 16.50M | ├──153-最近 1 日菜品规格活动参与订单数Top10.mp4 14.53M | ├──154-最近 1 日店铺活动减免(下单)金额Top10.mp4 12.42M | ├──155-最近 1 日店铺活动参与订单数Top10.mp4 10.05M | ├──156-最近 1 日店铺下单金额Top10.mp4 8.20M | ├──157-最近 1 日加盟店与直营店下单金额Top10.mp4 14.74M | ├──158-菜品评价统计.mp4 47.90M | ├──159-套餐评价统计.mp4 18.59M | ├──16-安装mysql以及模拟生成数据.mp4 57.75M | ├──160-店铺评价统计.mp4 31.72M | ├──161-ads数据加载脚本.mp4 99.92M | 鈹溾攢鈹€162-寤哄簱寤鸿〃.mp4 16.34M | ├──163-hdfs数据导入mysql案例演示.mp4 68.86M | ├──164-ads数据同步脚本.mp4 45.66M | ├──166-部署模式.mp4 20.46M | ├──167-dolphinscheduler安装.mp4 117.75M | ├──168-安全中心配置.mp4 19.42M | ├──169-工作流的定义与执行.mp4 35.68M | ├──17-模拟生成数据脚本.mp4 24.40M | ├──170-定时调度执行.mp4 11.60M | 鈹溾攢鈹€172-鍏ㄥ眬鍙傛暟.mp4 12.41M | 鈹溾攢鈹€175-鍐呯疆鍙傛暟.mp4 26.46M | ├──176-引用依赖资源.mp4 11.23M | ├──178-重跑和恢复失败.mp4 12.05M | ├──179-生成新数据.mp4 27.47M | ├──18-建模工具使用.mp4 17.53M | ├──180-数仓工作流调度.mp4 88.86M | ├──181-finebi安装与数据源的配置.mp4 55.82M | ├──182-finebi启动脚本.mp4 78.35M | ├──183-finebi数据可视化.mp4 60.76M | 鈹溾攢鈹€184-鏁颁粨鎬荤粨.mp4 18.81M | ├──19-集群批量命令执行脚本.mp4 18.28M | ├──20-安装hadoop.mp4 193.35M | ├──21-hadoop启动脚本.mp4 15.42M | ├──22-hadoop项目经验之存储多目录.mp4 15.44M | ├──23-hadoop项目经验之数据均衡.mp4 37.63M | ├──24-hadoop项目经验之参数调优.mp4 20.51M | ├──25-安装zookeeper.mp4 37.91M | ├──26-zk启动脚本.mp4 12.97M | ├──27-zk客户端常用指令.mp4 15.96M | ├──28-安装kafka.mp4 45.30M | ├──29-kafka启动脚本.mp4 10.18M | ├──30-kafka常用指令之topic相关.mp4 40.73M | ├──31-kafka常用指令之生产者和消费者相关.mp4 26.77M | ├──32-flume安装和项目经验.mp4 30.54M | ├──34-maxwell原理.mp4 19.65M | ├──35-安装maxwell.mp4 67.93M | ├──36-maxwell启动脚本.mp4 37.45M | ├──37-maxwell使用.mp4 35.48M | ├──38-同步策略介绍与选择.mp4 27.98M | ├──39-同步工具介绍.mp4 27.29M | ├──41-datax架构原理.mp4 34.07M | ├──42-datax安装.mp4 34.57M | ├──43-datax任务提交和配置文件格式说明.mp4 12.74M | ├──44-同步mysql数据到hdfs案例之tableMode模式.mp4 90.90M | ├──45-同步mysql数据到hdfs案例之querysql模式.mp4 21.29M | ├──46-同步hdfs数据到mysql案例.mp4 61.49M | 鈹溾攢鈹€47-datax浼犲弬.mp4 15.37M | ├──48-datax优化之速度控制.mp4 23.18M | ├──49-datax优化之内存调整.mp4 6.56M | ├──50-datax配置文件生成.mp4 80.13M | ├──51-全量表数据同步脚本.mp4 81.41M | ├──52-增量数据flume配置.mp4 167.39M | ├──53-增量数据拦截器与采集.mp4 100.71M | ├──54-增量同步时间问题.mp4 30.36M | ├──55-增量首日同步脚本.mp4 34.73M | ├──56-增量数据flume启动脚本.mp4 28.09M | ├──57-安装hive.mp4 43.04M | ├──58-hive中文乱码问题.mp4 28.30M | ├──59-快餐数仓项目简介.mp4 11.11M | ├──61-数仓架构.mp4 8.91M | ├──62-数仓建模的意义.mp4 23.66M | ├──65-事务型事实表设计与不足.mp4 48.56M | ├──66-周期型快照事实表.mp4 23.48M | ├──67-累积型快照事实表.mp4 17.87M | ├──69-规范化和反规范化.mp4 11.23M | ├──71-多值维度和多值属性.mp4 13.53M | ├──72-数据仓库的分层.mp4 28.36M | ├──73-数仓的构建流程.mp4 30.14M | ├──74-数据调研.mp4 18.31M | ├──75-明确数据域.mp4 5.56M | ├──76-构建业务总线矩阵.mp4 11.49M | ├──77-明确统计指标.mp4 29.86M | ├──78-维度模型和汇总模型设计.mp4 19.17M | ├──79-hive引擎介绍和兼容性说明.mp4 17.15M | 鈹溾攢鈹€80-hive on spark鎼缓.mp4 116.73M | ├──81-ApplicationMaster资源比例调整.mp4 17.01M | ├──82-datagrip工具使用.mp4 70.24M | ├──83-模拟生成数据.mp4 77.88M | 鈹溾攢鈹€84-hive甯哥敤闂.mp4 32.30M | ├──86-ods全量数据建表演示.mp4 22.65M | ├──87-hive复杂数据类型回顾.mp4 37.75M | ├──88-json数据建表示范.mp4 68.27M | ├──89-ods层增量表字段显示异常问题.mp4 27.52M | ├──90-ods层数据加载脚本.mp4 102.36M | ├──92-顾客维度表首日数据加载.mp4 42.98M | ├──93-顾客维度表每日数据加载.mp4 116.51M | ├──94-菜品维度表数据加载.mp4 110.29M | ├──95-套餐维度表数据加载.mp4 20.71M | ├──96-优惠活动维度表数据加载.mp4 46.66M | ├──97-行政区划维度表数据加载.mp4 7.30M | ├──98-店铺维度表数据加载.mp4 6.08M | └──99-dim层首日数据加载脚本.mp4 50.77M ├──笔记.zip 51.31M ├──代码.zip 651.75kb └──资料.zip 3.77G
🎉 祝您学习愉快!