大数据与人工智能课程|大厂学苑

后端开发

课程简介

课程定位与前置门槛很多开发者在接触大数据时，容易陷入“只会写 Hive SQL 就是大数据工程师”的认知误区，一旦面对生产环境中的实时性挑战便无从下手。本课程的核心价值在于填补这一关键断层，它不再孤立地拆解 Hadoop、Hive、Kafka、Flink 或 HBase 等单一组件，而是围绕当前大厂主流的实时数仓平台架构，进行系统化的串联与重构。课程以…

已有 0 人浏览发布 2026-10-07 更新 2026-10-07

课程定位与前置门槛

很多开发者在接触大数据时，容易陷入“只会写 Hive SQL 就是大数据工程师”的认知误区，一旦面对生产环境中的实时性挑战便无从下手。本课程的核心价值在于填补这一关键断层，它不再孤立地拆解 Hadoop、Hive、Kafka、Flink 或 HBase 等单一组件，而是围绕当前大厂主流的实时数仓平台架构，进行系统化的串联与重构。课程以 Hadoop 和 Hive 为离线基石，重点突破 Kafka 与 Flink 的流式计算核心，并结合 HBase 解决海量数据的即时存储问题，帮助学习者从宏观视角理解数据从产生、传输、计算到存储的全链路闭环。建议学员具备 Java 基础及 Linux 操作能力，熟悉基本的 SQL 语法更佳，否则在前期的环境搭建与代码阅读阶段可能会感到吃力。

学习路径与资料配合策略

针对本资料包，建议严格遵循“离线基础 → 消息队列 → 流式计算 → 实时存储”的顺序推进。首先通过 Hadoop 和 Hive 巩固分布式存储与离线分层逻辑，这是理解后续流批一体架构的背景板；接着深入 Kafka，掌握高吞吐消息缓冲机制；然后重点攻克 Flink，这是本课程的技术核心，需详细研读其窗口计算、状态管理及Exactly-Once语义保障的实现细节；最后通过 HBase 了解列族存储在高并发读写场景下的应用。切忌仅停留在观看视频的被动输入阶段，务必下载配套源码，亲手搭建本地测试环境，模拟数据流经 Kafka 进入 Flink 进行实时清洗，最终写入 HBase 并推送到展示端的全过程。只有在终端报错、日志排查、数据比对中反复打磨，才能真正吃透分布式系统的容错性与一致性难题。

结业产出与工程实践

完成本课程内容并充分消化配套资料后，你将具备独立设计与开发实时数仓项目的核心能力。具体产出包括：能够构建支撑高并发用户行为分析的实时数据平台，实现从日志采集到实时可视化的完整链路；能够熟练处理乱序数据、侧输出流、检查点恢复等企业级常见难题。此外，通过大厂实战项目的对照，你将内化企业级数据仓库的模型设计规范与运维监控要点。这使你有信心胜任数据开发工程师或大数据后端工程师的基础岗位，也能为你后续向数据中台架构师或 AI 数据湖仓方向进阶，打下扎实且可落地的工程根基。

课程介绍

本课程围绕当前大厂热门的实时数仓平台架构，融合核心框架Hadoop、离线数仓工具Hive、开源流处理框架Kafka、分布式计算引擎Flink、海量数据存储框架HBase，让你一次性掌握大数据核心技术。大厂实时数据仓库实战项目：以某大厂流式计算中的实时数据仓库为基础，讲解实时数据仓库中涉及到的分布式流式数据处理平台架构，其中包含海量数据传输，存储，计，展示等大数据高端技术

课程目录

123243dwiw333ryzlztiws.png (189.03 KB, 下载次数: 0) 2024-10-26 13:14 上传 课程介绍： 本课程围绕当前大厂热门的实时数仓平台架构，融合核心框架Hadoop、离线数仓工具Hive、开源流处理框架Kafka、分布式计算引擎Flink、海量数据存储框架HBase，让你一次性掌握大数据核心技术。 大厂实时数据仓库实战项目： 以某大厂流式计算中的实时数据仓库为基础，讲解实时数据仓库中涉及到的分布式流式数据处理平台架构，其中包含海量数据传输，存储，计，展示等大数据高端技术 课程目录： ├── 1.笔记 ├── 2.资料 ├── 3.视频 │ ├── 001 - 大数据 - 介绍.mp4 │ ├── 002 - 大数据 - 分布式存储架构原理.mp4 │ ├── 003 - 大数据 - 分布式存储架构原理 - 补充.mp4 │ ├── 004 - 大数据 - 分布式计算架构原理.mp4 │ ├── 005 - 大数据 - 数仓 - 介绍.mp4 │ ├── 006 - 大数据 - 系统架构 - 总览.mp4 │ ├── 007 - 大数据 - 系统架构 - 实时数仓架构.mp4 │ ├── 008 - 大数据 - Kafka - 课件说明.mp4 │ ├── 009 - 大数据 - Kafka - 消息队列 - 简介.mp4 │ ├── 010 - 大数据 - Kafka - 组件 - Broker.mp4 │ ├── 011 - 大数据 - Kafka - 组件 - Topic.mp4 │ ├── 012 - 大数据 - Kafka - 组件 - Partition.mp4 │ ├── 013 - 大数据 - Kafka - 组件 - Replica.mp4 │ ├── 014 - 大数据 - Kafka - 组件 - Log.mp4 │ ├── 015 - 大数据 - Kafka - 组件 - 通信RPC.mp4 │ ├── 016 - 大数据 - Kafka - 组件扩展 - controller.mp4 │ ├── 017 - 大数据 - Kafka - 组件扩展 - controller - 补充.mp4 │ ├── 018 - 大数据 - Kafka - 组件扩展 - 分区分配.mp4 │ ├── 019 - 大数据 - Kafka - 服务器推荐配置.mp4 │ ├── 020 - 大数据 - Kafka - 课程内容回顾 - RPC通信 - 源码.mp4 │ ├── 021 - 大数据 - Kafka - 生产者 - 生产数据.mp4 │ ├── 022 - 大数据 - Kafka - 生产者 - 发送数据基本原理.mp4 │ ├── 023 - 大数据 - Kafka - 生产者 - 生产数据的准备.mp4 │ ├── 024 - 大数据 - Kafka - 生产者 - 生产数据发送流程 - 采集器.mp4 │ ├── 025 - 大数据 - Kafka - 生产者 - 生产数据 - 拦截器实现.mp4 │ ├── 026 - 大数据 - Kafka - 生产者 - 生产数据 - 元数据请求和更新.mp4 │ ├── 027 - 大数据 - Kafka - 生产者 - 生产数据 - 分区选择.mp4 │ ├── 028 - 大数据 - Kafka - 生产者 - 生产数据 - 将数据缓存到采集器中.mp4 │ ├── 029 - 大数据 - Kafka - 生产者 - 生产数据 - Sender从采集器中获取数据发送到服务器.mp4 │ ├── 030 - 大数据 - Kafka - 生产者 - 生产数据 - 数据生产时出现的问题.mp4 │ ├── 031 - 大数据 - Kafka - 生产者 - 生产数据 - 服务器保存数据进行响应.mp4 │ ├── 032 - 大数据 - Kafka - 生产者 - 生产数据 - 流程梳理.mp4 │ ├── 033 - 大数据 - Kafka - 生产者 - 生产数据 - 流程梳理 - 1.mp4 │ ├── 034 - 大数据 - Kafka - 生产者 - 生产数据 - ACK应答机制.mp4 │ ├── 035 - 大数据 - Kafka - 生产者 - 生产数据 - ISR & OSR.mp4 │ ├── 036 - 大数据 - Kafka - 生产者 - 生产数据 - ISR & OSR - 小例子.mp4 │ ├── 037 - 大数据 - Kafka - 生产者 - 生产数据 - 同步数据.mp4 │ ├── 038 - 大数据 - Kafka - 生产者 - 生产数据 - 偏移量 - LSO & LEO & HW.mp4 │ ├── 039 - 大数据 - Kafka - 生产者 - 生产数据 - 偏移量 - LSO & LEO & HW - 小练习.mp4 │ ├── 040 - 大数据 - Kafka - 生产者 - 生产数据 - 事务 & 幂等性.mp4 │ ├── 041 - 大数据 - Kafka - 生产者 - 生产数据 - 偏移量 - LSO & LEO & HW - 源码.mp4 │ ├── 042 - 大数据 - Kafka - 消费数据 - 协调器，消费者组，消费策略.mp4 │ ├── 043 - 大数据 - Kafka - 消费数据 - 消费策略 - 范围策略.mp4 │ ├── 044 - 大数据 - Kafka - 消费数据 - 消费策略 - 轮询策略 & 粘性策略.mp4 │ ├── 045 - 大数据 - Kafka - 消费数据 - 重平衡.mp4 │ ├── 046 - 大数据 - Kafka - 消费数据 - 代码实现.mp4 │ ├── 047 - 大数据 - Kafka - 消费数据 - 协调器 & 位移主题.mp4 │ ├── 048 - 大数据 - Kafka - 消费数据 - 偏移量提交的代码实现.mp4 │ ├── 049 - 大数据 - Kafka - 消费数据 - 数据生产和消费的融合.mp4 │ ├── 050 - 大数据 - Kafka - 性能高的原因.mp4 │ ├── 051 - 大数据 - Flink - 介绍.mp4 │ ├── 052 - 大数据 - Flink - 架构描述.mp4 │ ├── 053 - 大数据 - Flink - 特性.mp4 │ ├── 054 - 大数据 - Flink - 分层架构.mp4 │ ├── 055 - 大数据 - Flink - 组件关系.mp4 │ ├── 056 - 大数据 - Flink - 编程模型 - API.mp4 │ ├── 057 - 大数据 - Flink - 开发环境准备.mp4 │ ├── 058 - 大数据 - Flink - 教学案例 - WordCount - 分析.mp4 │ ├── 059 - 大数据 - Flink - 教学案例 - WordCount - 设计.mp4 │ ├── 060 - 大数据 - Flink - 教学案例 - WordCount - 功能实现.mp4 │ ├── 061 - 大数据 - Flink - 教学案例 - WordCount - 梳理流程.mp4 │ ├── 062 - 大数据 - Flink - 教学案例 - WordCount - 流式处理.mp4 │ ├── 063 - 大数据 - Flink - 教学案例 - WordCount - 无界流处理.mp4 │ ├── 064 - 大数据 - Flink - 课程内容梳理.mp4 │ ├── 065 - 大数据 - Flink - 本地环境 - 搭建&监控.mp4 │ ├── 066 - 大数据 - Flink - 本地环境 - 提交应用程序.mp4 │ ├── 067 - 大数据 - Flink - 本地环境 - 设置并行度.mp4 │ ├── 068 - 大数据 - Flink - 本地环境 - 并行度 & Slot的关系.mp4 │ ├── 069 - 大数据 - Flink - 本地环境 - 操作链条（任务链）.mp4 │ ├── 070 - 大数据 - Flink - 程序 - 组成结构.mp4 │ ├── 071 - 大数据 - Flink - 程序 - 执行环境.mp4 │ ├── 072 - 大数据 - Flink - 程序 - 数据源.mp4 │ ├── 073 - 大数据 - Flink - 程序 - 自定义数据源.mp4 │ └── 074 - 大数据 - Flink - 程序 - 算子 - map.mp4