getfromcode

实时仓库+离线仓库 尚硅谷基于腾讯云EMR搭建实时数据仓库

测试运维
课程简介

实时+离线双模数据仓库:腾讯云 EMR 实战导读 这门课解决什么问题 现代企业的数据处理需求通常分为两类:一类是实时交易流水,要求秒级或分钟级可见,用于监控、风控和即时决策;另一类是历史报表与用户画像,可以容忍 T+1 的延迟,用于深度分析和长期规划。如果为这两类需求分别独立建设系统,会导致存储重复、计算资源浪费、调度逻辑冲突,运维成本急剧上升。本课程以「…

已有 21 人浏览 发布 2025-12-20 更新 2026-10-13

实时+离线双模数据仓库:腾讯云 EMR 实战导读

这门课解决什么问题

现代企业的数据处理需求通常分为两类:一类是实时交易流水,要求秒级或分钟级可见,用于监控、风控和即时决策;另一类是历史报表与用户画像,可以容忍 T+1 的延迟,用于深度分析和长期规划。如果为这两类需求分别独立建设系统,会导致存储重复、计算资源浪费、调度逻辑冲突,运维成本急剧上升。本课程以「实时仓库+离线仓库」的双模架构为核心,教你如何在腾讯云 EMR 平台上将实时流批一体处理与离线批量处理整合为一个可维护的整体方案,避免各建各的孤岛,实现资源共享与统一治理。

适合基础与学习路径

本课程适合具备以下基础的开发者:熟悉 Hadoop 生态(HDFS、YARN)的基本概念;掌握 Spark SQL 或 Hive 的离线 ETL 写法;了解 Kafka 消息队列的 producer/consumer 模式;有 Linux 命令行操作经验。不要求先精通 Flink 内部原理,课程会从腾讯云 EMR 控制台出发,带你逐步搭建可落地的实时入库链路。建议的学习顺序如下:首先理解实时流(Kafka → Flink/Spark Streaming → ClickHouse/Doris)与离线批(HDFS → Spark/Hive → 数仓分层)的整体架构,明确两者在 EMR 上如何共享集群资源;接着学习腾讯云 EMR 环境准备,包括一键拉起 Kafka、Spark、Hive、Flink 组件,以及配置 VPC、安全组和权限;然后重点掌握实时入库链路搭建,通过 Flink SQL 把 Kafka 中的订单流水按天分区写入 OLAP 存储;随后学习离线分层建模,实践 ODS → DWD → DWS → ADS 的标准数仓分层在 EMR 上的落地写法;最后掌握 Airflow 或 DolphinScheduler 在 EMR 上的部署,统一编排实时与离线任务并配置告警。

学完能独立做什么

完成本课程后,你将能够独立在腾讯云 EMR 上搭建一套完整的实时数据仓库,支持分钟级业务查询;独立设计实时与离线双模数据架构,根据业务 SLA 选择合适的存储与计算引擎;编写生产级的 Flink SQL 与 Spark SQL ETL 作业,覆盖数据清洗、关联、聚合全链路;并完成从 Kafka 到报表的全流程部署、调度与监控告警。资料包中的代码提供了关键组件的部署脚本、Flink SQL 模板、Spark 作业样例及调度配置。建议边看视频边对照代码,将每一段代码在自己的 EMR 集群上跑通;遇到权限、网络或版本兼容问题时,以代码为参照逐一排查。本课程不是纯理论,而是让你亲手把双模数据架构从文档变成可运行的生产级系统。

===============课程介绍===============

在当今数据驱动的世界中,数据处理的速度和质量至关重要。为了满足不断增长的数据需求,企业需要创新性地构建数据仓库,以便实时和离线数据分析。这门课程旨在为您提供全面的知识和实际技能,以在腾讯云EMR平台上构建创新的数据仓库解决方案。

===============课程亮点===============

深入理解实时与离线数据处理的概念,以满足不同业务需求。
掌握腾讯云EMR平台的核心功能,以构建可伸缩的数据仓库。
学习如何处理大规模数据集,从而实现高效的数据分析和洞察。
实战经验:通过实际项目和案例研究,将理论知识付诸实践。
与尚硅谷领域专家互动:获得实时指导和支持,以解决挑战和提升技能。

===============课程目录===============

(1)\基于腾讯云EMR搭建实时数据仓库
├─代码.zip
├─笔记.zip
├─资料.zip
(2)\基于腾讯云EMR搭建离线数据仓库
├─代码.zip
├─笔记.zip
├─资料.zip
(3)\基于腾讯云EMR搭建实时数据仓库\视频
├─001-腾讯云EMR-实时数仓-课程介绍.mp4
├─002-简介.mp4
├─003-课程目标.mp4
├─004-数据仓库概念.mp4
├─005-项目需求.mp4
├─006-技术选型.mp4
├─007-数据流程设计.mp4
├─008-框架的版本选型.mp4
├─009-服务器选型.mp4
├─010-集群规模及集群规划.mp4
├─011-电商业务简介.mp4
├─012-EMR的购买与启动.mp4
├─013-EMR集群简单说明.mp4
├─014-使用XShell连接服务.mp4
├─015-修改主机映射&配置无密登录.mp4
├─016-电商业务数据说明.mp4
├─017-上传资料包.mp4
├─018-MySQL的安装与启动.mp4
├─019-MySQL修改密码&远程访问.mp4
├─020-生成业务数据.mp4
├─021-Kafka安装.mp4
├─022-Kafka配置环境变量&群起.mp4
├─023-同步策略&开启MySQL Binlog.mp4
├─024-Flink安装.mp4
├─025-项目构建.mp4
├─026-FlinkCDC代码讲解&本地测试.mp4
├─027-FlinkCDC代码远程测试.mp4
├─028-课程介绍.mp4
├─029-分层框架-ODS&DIM层.mp4
├─030-DWD&DWS&ADS层.mp4
├─031-架构分析.mp4
├─032-准备工作.mp4
├─033-具体工作.mp4
├─034-HBase部署.mp4
├─035-HBase启动&测试.mp4
├─036-IDEA代码环境说明.mp4
├─037-Phoenix部署.mp4
├─038-Phoenix启动.mp4
├─039-Redis部署.mp4
├─040-Redis启动&测试.mp4
├─041-ClickHouse安装&启动&测试.mp4
├─042-课程说明.mp4
├─043-DIM层-思路分析 1.mp4
├─044-DIM层-思路分析 2.mp4
├─045-DIM层-思路分析 3.mp4
├─046-DIM层-思路整理.mp4
├─047-DIM层-消费&过滤&转换数据.mp4
├─048-DIM层-配置信息表.mp4
├─049-DIM层-读取配置信息&处理成广播流.mp4
├─050-DIM层-处理连接流-思路分析.mp4
├─051-DIM层-处理连接流-广播流-解析数据.mp4
├─052-DIM层-处理连接流-广播流-校验并建表.mp4
├─053-DIM层-处理连接流-广播流-写入状态.mp4
├─054-DIM层-处理连接流-主流-读取状态&过滤数据.mp4
├─055-DIM层-处理连接流-主流-补充字段并写出数据.mp4
├─056-DIM层-将数据写出到Phoenix-编码.mp4
├─057-DIM层-将数据写出到Phoenix-测试.mp4
├─058-DIM层-将数据写出到Phoenix-打包上传集群.mp4
├─059-DWD层-用户域用户注册代码讲解.mp4
├─060-DWD层-前置知识-WindowJOIN-说明.mp4
├─061-DWD层-前置知识-IntervalJOIN-说明.mp4
├─062-DWD层-前置知识-IntervalJOIN-编码.mp4
├─063-DWD层-前置知识-IntervalJOIN-测试.mp4
├─064-DWD层-交易域加购事实表.mp4
├─065-DWD层-工具域领券事实表.mp4
├─066-DWD层-互动域评价事实表.mp4
├─067-DWD层-交易域订单事实表.mp4
├─068-DWS层-整体介绍.mp4
├─069-DWS层-用户域用户注册基础代码.mp4
├─070-DWS层-ClickHouse工具类 1.mp4
├─071-DWS层-ClickHouse工具类 2.mp4
├─072-DWS层-ClickHouse工具类 3.mp4
├─073-DWS层-交易域加购需求基础代码.mp4
├─074-DWS层-交易域SKU粒度下单需求前置说明.mp4
├─075-需求分析 1.mp4
├─076-需求分析 2.mp4
├─077-思路整理.mp4
├─078-JavaBean封装.mp4
├─079-读取&转换&过滤&分组数据.mp4
├─080-left join重复数据去重.mp4
├─081-分组&开窗&聚合.mp4
├─082-中间测试.mp4
├─083-关联维表说明.mp4
├─084-JDBCUtil封装 1.mp4
├─085-JDBCUtil封装 2.mp4
├─086-JDBCUtil测试&再封装.mp4
├─087-关联维表-优化的必要性.mp4
├─088-关联维表-旁路缓存-说明.mp4
├─089-关联维表-旁路缓存-读写编码.mp4
├─090-关联维表-旁路缓存-读写测试.mp4
├─091-关联维表-旁路缓存-删除缓存数据.mp4
├─092-关联维表-旁路缓存-删除缓存数据 测试.mp4
├─093-关联维表-异步IO-说明.mp4
├─094-关联维表-异步IO-API说明.mp4
├─095-关联维表-异步IO-线程池工具类.mp4
├─096-关联维表-异步IO-异步函数 1.mp4
├─097-关联维表-异步IO-异步函数 2.mp4
├─098-关联维表-异步IO-异步函数 3.mp4
├─099-关联维表-异步IO-异步函数 4.mp4
├─100-完整测试.mp4
├─101-关联维表-测试准备工作.mp4
├─102-关联维表-测试完成.mp4
├─103-关联其他维表&写出数据.mp4
├─104-可视化展示-课程介绍.mp4
├─105-可视化展示-任务介绍.mp4
├─106-可视化展示-Sugar基本介绍.mp4
├─107-可视化展示-Web项目基本说明.mp4
├─108-可视化展示-构建SpringBoot Web模块.mp4
├─109-可视化展示-初体验SpringBoot Web模块.mp4
├─110-可视化展示-再体验SpringBoot Web模块.mp4
├─111-可视化展示-GMV需求-Mapper完成.mp4
├─112-可视化展示-GMV需求-Service完成.mp4
├─113-可视化展示-GMV需求-Controllrt完成.mp4
├─114-可视化展示-GMV需求-接口测试完成.mp4
├─115-可视化展示-GMV需求-对接Sugar测试完成.mp4
(4)\尚硅谷基于腾讯云EMR搭建离线数据仓库
├─001-课程介绍.mp4
├─002-采集模块介绍.mp4
├─003-课程目标.mp4
├─004-数据仓库概念.mp4
├─005-项目需求.mp4
├─006-技术选型.mp4
├─007-数据流程设计.mp4
├─008-框架版本选型.mp4
├─009-服务器选型.mp4
├─010-集群规模&规划.mp4
├─011-电商业务简介.mp4
├─012-选购EMR集群.mp4
├─013-远程连接.mp4
├─014-修改主机名.mp4
├─015-配置主机映射.mp4
├─016-配置免密登录.mp4
├─017-电商业务数据分析.mp4
├─018-上传资料包.mp4
├─019-MySQL安装与启动.mp4
├─020-远程连接MySQL&建库建表.mp4
├─021-业务数据生成.mp4
├─022-Kafka服务安装.mp4
├─023-Kafka服务群起&测试.mp4
├─024-Flume&同步策略和工具概述.mp4
├─025-开启MySQL Binlog 配置信息.mp4
├─026-开启MySQL Binlog 测试.mp4
├─027-使用Sqoop完成全量数据同步.mp4
├─028-增量数据同步数据通道.mp4
├─029-Flink部署.mp4
├─030-FlinkCDC简单代码说明.mp4
├─031-FlinkCDC简单代码本地测试.mp4
├─032-FlinkCDC完整代码说明.mp4
├─033-FlinkCDC完整代码打包测试.mp4
├─034-Flume配置文件.mp4
├─035-增量数据同步测试.mp4
├─036-Flume脚本完成.mp4
├─037-构建离线数仓文档说明.mp4
├─038-数据仓库概述.mp4
├─039-建模准备工作.mp4
├─040-建模具体工作.mp4
├─041-Hive环境准备-修改配置.mp4
├─042-Hive环境准备-测试.mp4
├─043-Yarn环境准备.mp4
├─044-开发环境准备说明.mp4
├─045-ODS层-建表.mp4
├─046-ODS层-装载数据.mp4
├─047-DIM层-商品维度表.mp4
├─048-DIM层-优惠券维度表.mp4
├─049-DIM层-活动维度表.mp4
├─050-DIM层-地区维度表.mp4
├─051-DIM层-用户维度表.mp4
├─052-DWD层-加购事实表.mp4
├─053-DWD层-下单事实表.mp4
├─054-DWD层-取消订单事实表.mp4
├─055-DWD层-其他事实表&脚本封装.mp4
├─056-DWD层-数据展示.mp4
├─057-DWS层-交易域用户商品粒度订单需求-需求分析.mp4
├─058-DWS层-交易域用户商品粒度订单需求-建表&装载数据.mp4
├─059-DWS层-交易域用户商品粒度退单需求-建表&装载数据.mp4
├─060-ADS层-品牌订单统计.mp4
├─061-ADS层-交易综合统计.mp4
├─062-数据可视化-建表&导出数据.mp4
├─063-数据可视化-最终总结.mp4

课程购买
课程价格
金币29
290金币限时优惠会员免费
销量:0
💎 开通会员每日免费下载,比单买更划算 →
支付成功后会自动显示下载资源云盘的链接!点击链接即可下载到本地。