mksz431 - Spark2.x+协同过滤算法，开发企业级个性化推荐系统

体系课

课程简介

在数据量膨胀到单台服务器无法处理的今天，企业级推荐系统早已不是“拍脑袋”选品，而是依赖分布式计算引擎与复杂算法模型的工程实践。这门课的核心价值在于，它没有停留在理论推导，而是直接指向了一个具体的技术落地场景：如何利用 Spark 2.x 结合协同过滤算法，构建一个可运行的个性化推荐模块。对于需要处理海量用户行为数据、希望从传统单机推荐过渡到分布式架构的开发…

已有 0 人浏览发布 2026-10-17 更新 2026-10-18

适合什么基础：需具备 Spark 与数学直觉

学习这门课并非零基础友好，它假设你 already 熟悉大数据生态的基本组件。你不需要精通 Hadoop 的所有细节，但必须对 Spark 的核心概念——如 RDD、DataFrame、Action 与 Transformation——有清晰的理解，并具备基本的 Scala 或 Python 编程能力。在算法层面，你不需要重新推导线性代数公式，但必须理解“协同过滤”的基本逻辑，即通过用户相似度或物品相似度来预测偏好。如果之前的经验仅限于使用现成的推荐 API，而缺乏对其底层计算逻辑的认知，或者从未在集群环境下调试过分布式任务，那么这门课会有一定的上手难度。建议先复习 Spark 的基础算子用法，确保能独立编写简单的 Map 和 Reduce 逻辑，再进入本课程，否则容易在数据转换环节卡壳。

建议学习路径与实战重点

不要试图一次性看完所有资料，建议采取“理论锚定—代码复现—调优实践”的三段式学习法。首先，重点攻克协同过滤算法在 Spark 中的实现机制，特别是 ALS（交替最小二乘法）等具体算法的原理，理解矩阵分解背后的直观意义。其次，务必动手复现课程中的核心模块，从数据清洗、特征工程到模型训练，完整跑通一个最小可行产品（MVP）。在此过程中，重点关注数据倾斜的处理策略以及并行度参数的调整，这是决定系统在生产环境中稳定性的关键。学完这一阶段，你应当具备独立搭建基于 Spark 的推荐系统原型的能力，能够根据业务数据特征选择合适的算法模型，并通过调整超参数优化推荐结果的准确率与多样性。资料包中提供的案例代码应作为练习参照，而非标准答案，建议在此基础上修改数据源、尝试不同的算法参数，观察指标变化，从而真正内化分布式推荐系统的开发流程。最终，你将不只是会调用 API，而是能理解并维护一套具备一定复杂度的企业级推荐基础设施。

mksz431 - Spark2.x+协同过滤算法，开发企业级个性化推荐系统

课程目录

第10章 推荐系统搭建——推荐结果存储/
10-1 数仓ODS和DWD层搭建_（微信-rmshou-收集整理）.mp4
10-2 搭建用户行为日志数据仓库_（微信-rmshou-收集整理）.mp4
10-3 利用外部分区表存储用户行为_（微信-rmshou-收集整理）.mp4
第11章 推荐系统搭建——推荐效果评估模块/
11-1 AB Test_（微信-rmshou-收集整理）.mp4
11-2 AB Test的分流管理_（微信-rmshou-收集整理）.mp4
11-3 搭建AB Test 实验控制台（上）_（微信-rmshou-收集整理）.mp4
11-4 搭建AB Test 实验控制台（下）_（微信-rmshou-收集整理）.mp4
11-5 常用评测指标_（微信-rmshou-收集整理）.mp4
第12章 知识拓展——基于关联规则的推荐算法/
12-1 基于Apriori的关联算法_（微信-rmshou-收集整理）.mp4
12-2 基于Spark实现Apriori算法（上）_（微信-rmshou-收集整理）.mp4
12-3 基于Spark实现Apriori算法（下）_（微信-rmshou-收集整理）.mp4
12-4 基于FP-Growth的关联算法_（微信-rmshou-收集整理）.mp4
12-5 基于Spark实现FP-Growth算法_（微信-rmshou-收集整理）.mp4
第13章 知识拓展——基于机器学习的推荐算法/
13-1 RBM神经网络_（微信-rmshou-收集整理）.mp4
13-2 CNN卷积神经网络_（微信-rmshou-收集整理）.mp4
13-3 RNN循环神经网络_（微信-rmshou-收集整理）.mp4
第14章 知识拓展——基于内容的推荐算法/
14-1 文本向量化_（微信-rmshou-收集整理）.mp4
14-2 基于Spark实现TF-IDF_（微信-rmshou-收集整理）.mp4
14-3 课程总结_（微信-rmshou-收集整理）.mp4
第1章 课程介绍与学习指南/
1-1 课程介绍及导学_（微信-rmshou-收集整理）.mp4
第2章 了解推荐系统的生态/
2-2 推荐系统的关键元素和思维模式_（微信-rmshou-收集整理）.mp4
2-3 推荐算法的主要分类_（微信-rmshou-收集整理）.mp4
2-4 推荐系统常见的问题_（微信-rmshou-收集整理）.mp4
2-5 推荐系统效果评测_（微信-rmshou-收集整理）.mp4
第3章 给学习算法打基础/
3-2 推荐系统涉及的数学知识_（微信-rmshou-收集整理） (2).mp4
3-3 推荐系统涉及的概率统计知识_（微信-rmshou-收集整理） (2).mp4
第4章 详解协同过滤推荐算法原理/
4-10 基于模型的协同过滤_（微信-rmshou-收集整理）.mp4
4-11 基于矩阵分解模型的两种算法：SVD和PMF_（微信-rmshou-收集整理）.mp4
4-12 缺失值填充_（微信-rmshou-收集整理）.mp4
4-2 本章作业_（微信-rmshou-收集整理）.mp4
4-3 协同过滤的数学知识：最小二乘法_（微信-rmshou-收集整理）.mp4
4-4 协同过滤的数学知识：梯度下降法_（微信-rmshou-收集整理）.mp4
4-5 协同过滤的数学知识：余弦相似度_（微信-rmshou-收集整理）.mp4
4-6 什么是user-based的协同过滤_（微信-rmshou-收集整理）.mp4
4-7 基于Spark实现user-based协同过滤_（微信-rmshou-收集整理）.mp4
4-8 什么是item-based协同过滤_（微信-rmshou-收集整理）.mp4
4-9 基于Spark实现item-based协同过滤_（微信-rmshou-收集整理）.mp4
第5章 Spark内置推荐算法ALS原理/
5-1 ALS 算法原理_（微信-rmshou-收集整理）.mp4
5-2 ALS 算法在Spark上的实现_（微信-rmshou-收集整理）.mp4
5-3 ALS 算法在 Spark 上的源码分析_（微信-rmshou-收集整理）.mp4
第6章 推荐系统搭建——需求分析和环境搭建/
6-2 项目需求分析 技术分解 模块设计_（微信-rmshou-收集整理） (2).mp4
6-3 开发环境搭建_（微信-rmshou-收集整理） (2).mp4
6-4 环境问题 工具问题 版本问题_（微信-rmshou-收集整理） (2).mp4
第7章 推荐系统搭建——UI界面模块/
7-1 VUE+ElementUI简单入门_（微信-rmshou-收集整理）.mp4
7-2 用户访问页面实现_（微信-rmshou-收集整理）.mp4
7-3 AB Test 控制台页面（上）_（微信-rmshou-收集整理）.mp4
7-4 AB Test 控制台页面（下）_（微信-rmshou-收集整理）.mp4
第8章 推荐系统搭建——数据层/
8-1 数据上报（上）_（微信-rmshou-收集整理）.mp4
8-2 数据上报（下）_（微信-rmshou-收集整理）.mp4
8-3 日志清洗和格式化数据（上）_（微信-rmshou-收集整理）.mp4
8-4 日志清洗和格式化数据（中）_（微信-rmshou-收集整理）.mp4
8-5 日志清洗和格式化数据（下）_（微信-rmshou-收集整理）.mp4
8-6 分析用户行为和商品属性_（微信-rmshou-收集整理）.mp4
本章精华部分.mp4
第9章 推荐系统搭建——推荐引擎/
9-1 基于用户行为构建评分矩阵_（微信-rmshou-收集整理） (2).mp4
9-10 实时推荐：通过FTRL更新特征权重-代码实现_（微信-rmshou-收集整理） (2).mp4
9-11 离线推荐和实时推荐项目梳理_（微信-rmshou-收集整理） (2).mp4
9-2 离线推荐：基于用户角度召回策略筛选候选集（上）_（微信-rmshou-收集整理） (2).mp4
9-3 离线推荐：基于用户角度召回策略筛选候选集（下）_（微信-rmshou-收集整理） (2).mp4
9-4 离线推荐：基于物品角度召回策略筛选候选集（上）_（微信-rmshou-收集整理） (2).mp4
9-5 离线推荐：基于物品角度召回策略筛选候选集（下）_（微信-rmshou-收集整理） (2).mp4
9-6 离线推荐：写特征向量到HBase_（微信-rmshou-收集整理） (2).mp4
9-7 离线推荐：基于模型的排序_（微信-rmshou-收集整理） (2).mp4
9-8 实时推荐：Storm解析用户行为_（微信-rmshou-收集整理） (2).mp4
9-9 实时推荐：通过FTRL更新特征权重-原理_（微信-rmshou-收集整理） (2).mp4
课程资料/
代码资料.zip
核对章节.txt