【知了课堂】零基础：21天搞定Python分布爬虫 - 带源码课件

这套资料的定位很明确：用三周时间把 Python 爬虫从「能跑通一个请求」推到「能稳定抓一整站、能横向扩机器」。它不铺垫 Python 语法，默认你已经能写函数、会装包、看得懂 requests 的基本用法，然后把重心全压在工程化环节上——Scrapy 的组件分层、数据落库、Redis 队列、反爬应对。资料带源码课件，这一点比视频本身更关键，下面按技术结构拆一下该怎么用它。

技术栈与主线结构

主线是 Scrapy。目录里从糗事百科这类结构规整的页面切入，先跑通 Spider 与 Item，再把数据出口从默认的 JSON 输出换成 Pipeline 写库——这一段的重点不是「怎么写管道」，而是理解 Scrapy 的数据流：引擎怎么调度 Request、下载器中间件在哪一层介入、Item Pipeline 为什么适合做去重和持久化。后面接简书网整站爬虫，把范围从单页扩到整站，这时才会真正遇到 URL 去重、翻页规律识别、增量抓取这几个绕不开的问题，最终落到 MySQL 存储上。

第二条线是分布式。目录里出现 Redis 的集合操作、队列操作，对应的是把 Scrapy 的调度器换成共享队列，让多台机器或进程从同一个 Redis 里取任务。这是「分布式爬虫」四个字真正的技术含义：请求队列集中、去重集合集中、结果统一入库。理解这一层之后，scrapy-redis 那套改造就不神秘了。

可复用的工程模块

值得从源码里单独抽出来、放进自己项目骨架的有几块：

• Pipeline 层：写库的通用写法、批量插入与事务处理、字段清洗的位置选择。这套结构换目标站点基本不用改。
• 下载中间件：User-Agent 与代理的轮换逻辑，以及重试策略的挂载点。反爬应对大多落在这里而不是 Spider 里。
• 去重与调度：Redis 集合做指纹去重的具体实现，是分布式的入口。
• 配置分层：settings 里并发数、延迟、超时、管道启停的组织方式，直接决定爬虫在真实站点上的存活率。

把这些模块抽出来做成模板，后续接新站点只写解析逻辑，这是这套资料能带来的最大复用价值。

怎么用它，而不是只看

建议按「先跑通、再改坏、再修好」的节奏走。第一步照着源码把糗事百科的采集链路跑通，确认数据能进 MySQL；第二步故意改需求——换字段、换表结构、加一列时间戳，看哪一层需要动；第三步针对简书整站那部分，自己重写翻页和去重逻辑，再和源码对比差异。反爬部分不要只记结论，把 UA 池、代理、请求频率这几项分别开关，观察被封的触发条件，才能形成判断。

分布式那几节需要本地起 Redis，建议直接上 Docker，把单机多进程先跑起来，再考虑多机。踩到队列重复、任务丢失、去重失效这类问题时，回头翻源码效率最高。

适合谁，前置要求

适合已经会 Python 基础、写过简单 requests 脚本，想把手上的抓取代码整理成可维护项目的开发者；也适合做数据采集、需要把抓取任务横向扩展的人。前置要求不高但明确：Python 语法熟练、会基本的 SQL、能在命令行里操作环境。完全没碰过 HTTP 请求和 HTML 解析的话，建议先补这两块再来，否则前三天的内容会卡住。

三周的周期不算宽裕，重点不在于看完多少节，而在于每看完一块就动手改一处源码，把结构吃透。