【知了课堂】零基础：21天搞定Python分布爬虫 - 带源码

这套资料的核心不是“21 天”这个时间标签，而是它把 Scrapy 从单机爬虫推到分布式爬虫的完整链路拆开讲了。资料包带源码，视频按实战节点切分，适合一边看一边对着代码改，而不是只看不练。

技术栈与内容重心

主线是 Python + Scrapy，围绕 Scrapy 的 Spider、Item、Pipeline、Middleware 这几层展开。从资料线索能看出，它没有停在“写个请求解析页面”的层面：糗事百科部分专门讲 Pipeline 保存数据，之后又讲优化数据存储方式；简书网整站爬虫那一段则把数据落到 MySQL。也就是说，存储链路是被当成独立问题处理的，而不是在 Spider 里随手写文件。

分布式部分落在 Redis 上，资料里有 Redis 集合操作的内容。分布式爬虫绕不开请求队列和去重，Redis 在这类架构里通常承担调度器和去重集合的角色。这套资料把 Redis 单独拿出来讲操作，说明它希望你先理解队列和集合的语义，再往 Scrapy-Redis 的方向接。

项目结构可以怎么对照

资料里的实战项目至少覆盖两类站点：糗事百科和简书网。前者适合练抓取、解析、翻页和 Pipeline 落库；后者是整站爬虫，规模更大，会牵出 URL 管理、去重、增量抓取和数据库写入压力这些工程问题。两者对照着看，能看出同一套 Scrapy 结构在不同数据量下的取舍差异。

建议按这个顺序对照源码：先跑通单个 Spider，确认请求和解析；再打开 Item 和 Pipeline，看数据从 yield 到落库经过哪些环节；最后把调度和去重换成 Redis 版本，观察请求队列从内存搬到 Redis 后，多进程/多机协作的入口在哪里。这套资料带源码的价值就在这里——你不必从零猜结构，可以直接改一处、跑一次、看结果。

可复用的模块

• Pipeline 写库模块：可以抽出来套用到其他需要落 MySQL 的爬虫上，重点是连接管理和批量写入的写法。
• 请求与去重逻辑：结合 Redis 集合操作，理解分布式去重的实现方式，替换掉单机内存去重。
• 整站抓取的 URL 管理：简书网那段演示了整站规模和单页抓取的区别，URL 队列的组织方式可以直接借鉴。
• 数据解析与字段映射：Item 定义和解析函数的对应关系，是后续换站点时最常改动的部分。

这些模块单独拆出来都能用，但前提是你动手跑过一遍。只看视频，Pipeline 和 Redis 调度之间的衔接很容易被忽略。

适合谁，以及怎么用

如果你已经会 Python 基础语法，但没系统写过爬虫，这套资料能提供一条从请求、解析到存储、再到分布式的对照路径。它不是纯理论课，节奏靠实战节点推进，所以更适合给自己定一个每日动手目标：当天看完的实战，当天把源码跑通并改一处参数看变化。

需要提醒的是，爬虫项目对目标站点的结构变化很敏感，资料里的站点页面可能和现在不同。遇到解析失败时，不要只盯着报错，回到源码里找对应的解析规则，改成当前页面结构，这本身就是爬虫工程里最常见的动作。分布式那部分也一样，先保证单机链路稳定，再引入 Redis 和 Scrapy-Redis，否则问题会混在一起，很难定位。

整体上，这套资料适合拿来当对照实践的底稿：源码在手，实战节点明确，存储和分布式都有涉及。按结构拆开、按模块复用，比单纯跟着视频走一遍更能留下可迁移的东西。