正版资源MSB-AirFlow分布式任务调度框架【VIP】
解决什么问题与适用人群 Airflow 是目前数据工程和 DevOps 领域最主流的分布式任务调度框架。这门课主要解决的是如何从零开始，在单机环境下搭建可运行的 Airflow 集群，并掌握 DAG（有向无环图）的定义与调度逻辑。它适合具备 Python 基础、了解 Linux 基本命令，且需要负责
解决什么问题与适用人群
Airflow 是目前数据工程和 DevOps 领域最主流的分布式任务调度框架。这门课主要解决的是如何从零开始，在单机环境下搭建可运行的 Airflow 集群，并掌握 DAG（有向无环图）的定义与调度逻辑。它适合具备 Python 基础、了解 Linux 基本命令，且需要负责数据管道编排或自动化运维脚本调度的开发者。如果你之前依赖 crontab 手动拼凑任务，或面临复杂任务依赖无法可视化管控的痛点，这套资料是理想的实战切入点。
核心模块与学习路径
建议按以下顺序对照练习，不要跳步。首先精读架构原理部分，搞清楚 Scheduler、Executor 和 WebServer 三个核心角色的交互关系，这是理解后续故障排查的基础。其次进入环境搭建章节，重点实践 Anaconda 环境隔离与 Airflow 单节点的安装配置，务必亲自完成用户权限设置，避免后续因权限问题导致作业失败。最后的核心是 DAG 编写，需重点掌握三种定义方式及 Task 依赖关系的声明，特别是 Catchup 参数和调度触发时间的三种设置模式，这是控制历史数据补跑和执行周期的关键。
学后能力与资料配合
学完本课后，你能够独立在一个 Linux 节点上部署 Airflow，并编写复杂的 Python DAG 脚本来调度 ETL 任务或脚本作业，实现任务的可视化监控与自动重试。练习时，请先按照视频逐步构建本地开发环境，随后尝试修改视频中的示例 DAG，调整调度周期和依赖关系，观察 WebUI 的状态变化。通过这种“配置-编码-观察”的闭环操作，可以将抽象的调度概念转化为可落地的工程能力，为后续迁移到分布式集群打下坚实基础。
课程目录
课程目录33 集
- 1-第一章-Airflow架构原理及术语
- 1-01-Airflow任务流调度工具-什么是Airflow.mp4 24.46M
- 2-02-Airflow任务流调度工具-Airflow架构角色及作用.mp4 32.54M
- 3-03-Airflow任务流调度工具-Airflow术语.mp4 19.51M
- 4-04-Airflow任务流调度工具-任务调度原理.mp4 8.56M
- 2-第二章-Airflow单机搭建及启动
- 1-05-Airflow任务流调度工具-Anconda及python3.7环境安装.mp4 69.54M
- 2-06-Airflow任务流调度工具-Airflow单节点安装.mp4 96.18M
- 3-07-Airflow任务流调度工具-Airflow配置及配置用户.mp4 68.76M
- 4-08-Airflow任务流调度工具-Airflow启动.mp4 30.59M
- 5-09-Airflow任务流调度工具-Airflowwebui介绍.mp4 69.36M
- 3-第三章-AirflowWebUI及DAG依赖参数设置
- 1-10-Airflow任务流调度工具-Airflow使用.mp4 18.23M
- 2-11-Airflow任务流调度工具-AirflowDAG定义三种方式.mp4 63.87M
- 3-12-Airflow任务流调度工具-Airflowtask创建及指定task依赖关系.mp4 56.48M
- 4-13-Airflow任务流调度工具-Airflow手动、自动调度DAG、删除DAG.mp4 54.97M
- 5-14-Airflow任务流调度工具-Airflow调度触发时间.mp4 25.75M
- 6-15-Airflow任务流调度工具-AirflowDAGCatchup参数.mp4 44.39M
- 7-16-Airflow任务流调度工具-DAG调度周期三种设置方式.mp4 50.46M
- 8-17-Airflow任务流调度工具-Airflow任务依赖设置.mp4 64.65M
- 4-第四章-AirflowOperator及案例实战
- 1-18-Airflow任务流调度工具-AirflowBaseOperator参数.mp4 22.15M
- 10-27-Airflow任务流调度工具-PythonOperator配置及执行案例.mp4 80.81M
- 2-19-Airflow任务流调度工具-AirflowBashOperator执行shell命令.mp4 29.48M
- 3-20-Airflow任务流调度工具-Airflow发送邮件配置.mp4 15.30M
- 4-21-Airflow任务流调度工具-BashOperator执行shell命令测试.mp4 49.70M
- 5-22-Airflow任务流调度工具-BashOperator执行shell脚本.mp4 51.53M
- 6-23-Airflow任务流调度工具-SSHOperator参数及依赖安装配置.mp4 73.20M
- 7-24-Airflow任务流调度工具-SSHOpeator远程执行脚本案例.mp4 25.01M
- 8-25-Airflow任务流调度工具-HiveOperator使用环境准备.mp4 67.31M
- 9-26-Airflow任务流调度工具-HiveOperatorDAG执行案例.mp4 46.02M
- 5-第五章-Airflow分布式集群原理、搭建及HA测试
- 1-28-Airflow任务流调度工具-Airflow分布式集群知识扩展.mp4 26.34M
- 2-29-Airflow任务流调度工具-Airflow集群搭建环境准备.mp4 73.34M
- 3-30-Airflow任务流调度工具-Airflow分布式集群搭建.mp4 92.79M
- 4-31-Airflow任务流调度工具-Airflow集群配置及SchedulerHA配置.mp4 59.85M
- 5-32-Airflow任务流调度工具-Airflow集群启动.mp4 36.14M
- 6-33-Airflow任务流调度工具-Airflow集群HA测试.mp4 64.63M
- MSB-AirFlow分布式任务调度框架/
- 2-02-Ai
