【黑马程序员】大数据项目用户画像实战-2020版的，老课程

这套 2020 版用户画像实战课属于典型的「按天推进的企业级项目录播」：从环境准备一路做到标签计算与落地应用，中间不停在概念层打转。它的价值不在于技术有多新，而在于完整暴露了一个用户画像系统从原始数据到标签输出的全链路结构——这类结构在今天的离线数仓与标签平台里依然大量沿用，只是组件版本换了、调度换成了 DolphinScheduler 或 Airflow、计算引擎换成了 Spark 3.x 或 Flink。把它当作一份可对照的工程骨架来读，比当作视频课来刷更划算。

技术栈与整体分层

项目走的是 Hadoop + Hive + Spark 的经典离线组合，配合 MySQL 做标签结果存储、HBase 或 Redis 做画像数据的在线查询支撑。这一套在 2020 年前后是国内中厂做标签平台的主流选型，放到现在看仍然是理解「离线画像」这个概念最省心的入口，因为每一层的职责边界非常清晰。

重点值得对照的是分层设计：ODS 层保留原始埋点和业务库同步数据，DWD 层做清洗与维度退化，DWS 层按用户粒度做轻度聚合，ADS 层或标签层输出具体的标签值。这套 ODS/DWD/DWS/ADS 的分层命名在后续几乎所有数仓项目里都会反复出现，先把这一遍走通，后面看别的项目结构会快很多。

项目结构里真正可复用的部分

标签体系的设计思路是最值得单独拎出来的模块。课程会把标签按统计类、规则类、挖掘类做区分，统计类走 SQL 聚合，规则类用条件表达式或打分模型，挖掘类涉及 TF-IDF、RFM、聚类等。真正能复用的是这套「标签定义 → 计算逻辑 → 存储结构 → 调度依赖」的抽象方式，而不是某一条 SQL 的写法。

• 标签元数据管理：标签名、口径、更新频率、所属业务域如何组织成表结构
• 标签计算的 SQL 与 Spark 两条实现路径对比，什么时候该用哪个
• 用户唯一 ID 的打通（设备 ID、账号 ID、手机号归一），这是画像项目最容易踩坑的地方
• 调度依赖与任务分层，天级标签任务之间怎么串

这些模块拆出来，换个行业、换个数据源，改写口径就能用。所以建议在学的时候同步做一件事：把课程里的标签定义表结构抄下来，改成自己手上的业务场景，再跑通一条标签的完整链路。跑通一条，剩下的就是重复劳动。

需要注意的版本落差

2020 年的课程，几个地方和现在有明显差距，要有心理预期。Spark 部分大概率还是 2.x 的 API，DataFrame 与 Dataset 的写法、SQL 执行计划调优、AQE 这些在 3.x 里有变化；Hive 的执行引擎和分区裁剪优化也迭代了不少；调度部分如果是手工脚本或 Azkaban，现在的项目基本会换成更成熟的调度平台。另外课程里不太可能涉及湖仓一体、Iceberg/Hudi 这类增量更新方案，而标签数据恰恰是增量更新需求很强的场景。

不建议因为版本老就跳过，但建议在看的同时补两块：一是目标引擎的当前版本文档，二是增量更新与数据血缘相关的方案，这两点是这套课覆盖不到、但实际落地绕不开的。

自学路径建议

这类按天组织的项目录播，最容易犯的错是顺着看、不写代码。更有效的方式是：先扫一遍整体分层和目标，然后自己搭一遍环境（Hadoop 伪分布式或单机 Spark 够用），把数据生成脚本先跑起来，再按标签逐个实现。遇到课程里直接给答案的标签计算，先自己写一版再对答案，差异往往就在你没想到的口径细节上。

如果时间有限，优先级排序是：ID 打通 → 标签元数据设计 → 统计类标签链路 → 存储与查询 → 挖掘类标签。挖掘类可以最后看，因为它的复用性最依赖业务场景。整套下来，你会得到一份能改造成自己项目骨架的东西，而不是一堆看完就忘的操作演示。