2501期爬虫-大海老师

【资源目录】:

├──1.课件
| ├──01-爬虫基本介绍
| | ├──PPT
| | | └──01-爬虫介绍.pptx 4.70M
| | └──代码
| | | ├──01-1 开班.py 1.31kb
| | | ├──01-2 爬虫介绍.py 1.42kb
| | | ├──01-3 爬虫工作流程.py 0.31kb
| | | └──01-4 robots协议介绍.py 1.03kb
| ├──02-http协议&请求头
| | └──02-http协议&请求头
| | | ├──PPT
| | | └──代码
| ├──03-requests库使用
| | ├──requests库安装问题
| | | ├──pip不是内部或者外部命令.png 176.30kb
| | | ├──pip更新警告.png 1.04M
| | | ├──pip警告.png 1.40M
| | | ├──本地环境.png 640.17kb
| | | ├──换源.png 1.88M
| | | ├──拒绝访问.png 884.41kb
| | | ├──库安装成功标志.png 367.13kb
| | | ├──无pip模块.png 926.02kb
| | | ├──卸载重装python.png 214.42kb
| | | └──虚拟环境.png 563.14kb
| | ├──代码
| | | ├──03-1 requests库的使用.py 3.33kb
| | | ├──03-2 响应response其它属性.py 1.09kb
| | | ├──03-3 用户代理User-Agent使用.py 2.08kb
| | | ├──baidu_01.html 2.39kb
| | | ├──baidu_02.html 2.39kb
| | | ├──baidu_04.html 2.39kb
| | | └──baidu_05.html 2.39kb
| | └──03-requests使用.pptx 1.57M
| ├──04-url传参
| | ├──PPT
| | | └──04-url传参.pptx 1.60M
| | └──代码
| | | ├──04-1 User-Agent池.py 1.48kb
| | | ├──04-2 url传参.py 3.50kb
| | | ├──04-3 作业布置.py 1.06kb
| | | ├──sougou_长沙美食.html 502.97kb
| | | └──sougou_春节.html 444.37kb
| ├──05-POST请求&模拟登录
| | └──05-POST请求&模拟登录
| | | ├──PPT
| | | └──代码
| ├──06-代理IP使用
| | ├──PPT
| | | └──06-代理IP介绍与使用.pptx 2.15M
| | └──代码
| | | ├──06-1 SSL认证.py 0.06kb
| | | ├──06-2 代理IP介绍.py 1.23kb
| | | ├──06-3 代理IP使用.py 3.92kb
| | | ├──06-4 timeout参数使用.py 2.48kb
| | | └──06-5 retrying模块使用.py 1.08kb
| ├──07-网易云案例&referer反爬
| | ├──PPT
| | | └──07-网易云案例&referer反爬.pptx 1.51M
| | └──代码
| | | ├──07-1 网易云案例.py 2.92kb
| | | ├──07-2 VIP歌曲下载.py 1.52kb
| | | └──07-3 referer反爬.py 1.61kb
| ├──08-Ajax异步数据之股票案例
| | ├──ppt
| | | ├──08-Ajax异步数据之股票案例.pptx 1.58M
| | | └──09-字典、集合.pptx 1.02M
| | └──代码
| | | ├──01-字典.py 1.19kb
| | | ├──02-字典增删改查的方法.py 1.39kb
| | | ├──03-字典的其它操作.py 1.65kb
| | | ├──04-集合.py 1.51kb
| | | ├──05-字典和集合的推导式.py 0.57kb
| | | ├──06-集合的运算符.py 0.69kb
| | | ├──08-1 Ajax异步加载动态数据.py 1.15kb
| | | ├──08-2 抓取上证A股中所有的股票数据.py 9.45kb
| | | ├──08-3 提取上证A股中的关键数据.py 1.41kb
| | | ├──08-4 翻页抓取上证A股.py 0.95kb
| | | ├──08-5 数据结构分类.py 1.04kb
| | | ├──08-6 json数据转换.py 1.92kb
| | | ├──moviepy补充.py 0.33kb
| | | └──课后练习09.py 0.80kb
| ├──09-数据提取之jsonpath
| | └──09-数据提取之jsonpath
| | | ├──PPT
| | | └──代码
| ├──10-数据提取之xpath
| | ├──PPT
| | | └──10-xpath.pptx 2.03M
| | ├──代码
| | | ├──10-1 xpath_helper安装.py 1.63kb
| | | └──10-2 xpath提取豆瓣电影250.py 2.66kb
| | ├──xpath_helper_2.0.2.zip 245.96kb
| | └──企业微信截图_17377266428118.png 103.04kb
| ├──11-数据存储之excel
| | ├──PPT
| | | └──11-数据存储之excel.pdf 94.39kb
| | └──代码
| | | ├──11-1 处理空格数据.py 3.16kb
| | | ├──11-2 python操作已存在的excel文件.py 0.90kb
| | | ├──11-3 将数据写入新的excel文件中.py 0.40kb
| | | ├──11-4 指定创建表格的名字.py 0.57kb
| | | ├──11-5 爬虫数据入表excel.py 1.02kb
| | | ├──11-6 优化兼容追加写入功能.py 1.17kb
| | | ├──11-7 判断文件是否存在.py 0.23kb
| | | ├──11-8 csv文件数据写入.py 0.38kb
| | | ├──11-9 使用json文件存储数据.py 1.29kb
| | | ├──datas.csv 0.05kb
| | | ├──datas01.csv 0.05kb
| | | ├──股票.json 28.85kb
| | | ├──上证A股.xlsx 19.29kb
| | | ├──数据.xls 19.00kb
| | | ├──数据2.xlsx 7.81kb
| | | ├──数据3.xlsx 4.77kb
| | | ├──数据4.xlsx 5.94kb
| | | └──数据6.xlsx 5.08kb
| ├──12-数据存储之mongodb
| | └──12-数据存储之mongodb
| | | ├──PPT
| | | └──代码
| ├──13-playwright入门
| | ├──PPT
| | | └──13-playwright入门.pptx 1.57M
| | └──代码
| | | ├──01.png 80.22kb
| | | ├──02.png 135.24kb
| | | ├──13-1 爬虫代封装.py 0.65kb
| | | ├──13-2 豆瓣250爬虫代码封装.py 4.16kb
| | | ├──13-3 playwright介绍.py 0.78kb
| | | ├──13-4 playwright简单使用.py 5.16kb
| | | ├──13-5 作业讲解.py 1.82kb
| | | └──链家二手房数据.xlsx 8.88kb
| ├──14-playwright进阶(一)
| | ├──PPT
| | | └──14-playwright高级(一).pptx 3.31M
| | └──代码
| | | ├──14-1 playwright元素定位.py 3.31kb
| | | ├──14-2 文本和属性值获取.py 1.36kb
| | | ├──14-3 窗口切换.py 1.07kb
| | | └──14-4 iframe嵌套案例.py 0.97kb
| ├──15-playwright进阶(二)
| | ├──PPT
| | | └──15-playwright高级(二).pptx 1.64M
| | └──代码
| | | ├──15-1 滚动页面&执行js代码.py 1.90kb
| | | ├──15-2 playwright反检测.py 0.71kb
| | | ├──15-3 携带本地登录状态.py 1.39kb
| | | ├──15-4 playwright连接开启远程调试的谷歌.py 4.23kb
| | | ├──15-5 作业布置.py 1.29kb
| | | ├──京东联盟作业.png 691.21kb
| | | └──淘宝作业.png 1.04M
| ├──16-playwright项目实战
| | ├──PPT
| | | └──16-playwright项目实战.pptx 1.51M
| | └──代码
| | | ├──16-1 playwright终极模板.py 3.01kb
| | | ├──16-2 playwright抓取淘宝数据.py 3.30kb
| | | ├──16-3 playwrigth抓取京东联盟数据.py 3.08kb
| | | ├──淘宝手机数据.csv 22.69kb
| | | └──淘宝手机数据001.csv 23.23kb
| ├──17-playwright抓取图片视频
| | ├──17-playwright抓取图片视频
| | | └──17-playwright抓取图片视频
| | ├──PPT
| | | └──17-playwright抓取图片视频.pptx 1.52M
| | ├──代码
| | | ├──17-1 playwright抓取单页图片.py 2.38kb
| | | ├──17-2 playwright翻页获取图片.py 2.85kb
| | | └──17-3 playwright抓取快手视频.py 4.05kb
| | ├──视频
| | | └──17-2 playwright爬取单页图片02.mp4 68.47M
| | └──17-playwright抓取图片视频.zip 1.50M
| ├──18-图片验证码处理
| | ├──PPT
| | | ├──18-图片验证码案例破解.pdf 1.27M
| | | └──18-图片验证码处理.pptx 1.53M
| | └──代码
| | | ├──18-1 验证码分类.py 0.21kb
| | | ├──18-2 使用第三方库识别验证码.py 0.35kb
| | | ├──18-3 使用打码平台识别验证码.py 0.40kb
| | | ├──18-4 验证码识别登录.py 1.95kb
| | | ├──18-5 playwright登录.py 6.65kb
| | | ├──a.jpg 1.81kb
| | | ├──chaojiying.py 2.59kb
| | | ├──pic1.jpg 1.42kb
| | | ├──pic2.jpg 1.40kb
| | | ├──pic3.jpg 1.33kb
| | | ├──pic4.jpg 6.08kb
| | | └──pic5.jpg 6.80kb
| ├──19-滑动验证码处理
| | ├──PPT
| | | ├──19-滑动验证码处理.pptx 1.51M
| | | └──19-滑块验证码案例破解.pdf 96.06kb
| | └──代码
| | | ├──19-1 滑动验证处理.py 4.89kb
| | | ├──19-2 滑动轨迹识别演示.py 1.32kb
| | | ├──bg.png 49.89kb
| | | ├──sli.png 9.67kb
| | | ├──差一点.jpg 21.96kb
| | | ├──滑动轨迹.jpg 63.27kb
| | | ├──滑动距离.jpg 22.90kb
| | | └──滑块图片真正轮廓.jpg 30.69kb
| ├──20-js逆向介绍&TLS指纹校验
| | ├──PPT
| | | ├──20-js逆向介绍&TLS指纹校验.pptx 1.53M
| | | └──20-TLS指纹.pdf 4.51M
| | └──代码
| | | ├──20-1 js加密&js逆向介绍.py 1.03kb
| | | ├──20-2 base64加密算法.py 0.76kb
| | | ├──20-3 md5加密算法.py 0.65kb
| | | ├──20-4 hmac模块介绍.py 0.74kb
| | | ├──20-5 加盐操作.py 0.50kb
| | | ├──20-6 TLS指纹校验介绍.py 1.15kb
| | | ├──20-7 TLS指纹校验绕过.py 0.63kb
| | | └──20-8 作业布置.py 2.11kb
| ├──21-js加密案例
| | ├──PPT
| | | └──21-js加密案例.pptx 1.71M
| | └──代码
| | | ├──21-1 作业讲解.py 2.92kb
| | | ├──21-2 fm案例.py 2.43kb
| | | └──21-3 作业布置.py 0.59kb
| ├──22-js逆向解析案例
| | ├──PPT
| | | └──22-js逆向解析案例.pptx 1.52M
| | └──代码
| | | ├──22-1 js逆向解析.py 1.24kb
| | | ├──22-2 通过python代码调用js文件执行js代码.py 0.39kb
| | | ├──22-3 评论数据js逆向案例.py 1.38kb
| | | ├──A.js 0.02kb
| | | ├──demo.js 0.07kb
| | | └──wyy.js 41.78kb
| ├──23-js反调试破解
| | ├──PPT
| | | ├──23-反调试代码分析.pdf 1.61M
| | | └──23-反调试破解.pptx 2.40M
| | └──代码
| | | └──23-1 补充.py 0.30kb
| ├──24-字体反爬
| | ├──PPT
| | | ├──24-字体反爬.pptx 1.54M
| | | └──24-字体反爬PDF_加水印.pdf 593.50kb
| | └──代码
| | | ├──字体反爬的实现
| | | ├──24-1 字体反爬介绍.py 2.07kb
| | | ├──24-2 字体解析.py 3.15kb
| | | ├──24-3 图像绘制.py 0.34kb
| | | ├──58tc.xml 67.42kb
| | | ├──58tongcheng.ttf 5.07kb
| | | ├──AA.jpg 2.61kb
| | | └──xxs.woff 10.15kb
| ├──25-移动端数据抓取
| | ├──PPT
| | | └──25-fiddler介绍&移动端案例.pptx 1.56M
| | └──代码
| | | ├──25-1 实习僧字体反爬补充.py 2.55kb
| | | ├──25-2 fiddler抓包工具使用.py 0.47kb
| | | ├──25-3 模拟器配置.py 0.76kb
| | | ├──25-4 抓取移动端数据案例.py 2.82kb
| | | ├──25-5 作业布置.py 0.48kb
| | | ├──xss.woff 10.14kb
| | | └──面包.jpg 113.46kb
| ├──26-异步爬虫
| | ├──PPT
| | | ├──26-异步爬虫(详细注释版).pdf 260.46kb
| | | └──26-异步爬虫.pptx 1.92M
| | └──代码
| | | ├──26-1 demo.py 1.31kb
| | | ├──26-2 多进程爬虫模拟.py 0.91kb
| | | ├──26-3 多进程爬虫实战.py 1.33kb
| | | ├──26-4 线程池使用.py 1.69kb
| | | ├──26-5 多任务异步协程.py 1.51kb
| | | ├──26-6 note.py 0.53kb
| | | ├──26-7 并发量控制.py 5.03kb
| | | ├──26-8 作业布置.py 0.30kb
| | | ├──53ad59b83e132a1b_s.jpg 32.72kb
| | | ├──7f9d51b86817b22c_s.png 68.45kb
| | | ├──8e04aec6238f062e_s.png 72.59kb
| | | ├──d8140cdc497fea3c_s.png 60.11kb
| | | ├──de221f3143efa006_s.jpg 17.47kb
| | | └──ff116b6490553565_s.jpg 47.09kb
| ├──27-scrapy介绍与使用
| | ├──PPT
| | | └──27-scrapy介绍与使用.pptx 3.45M
| | ├──scrapy使用问题
| | | ├──scrapy安装失败的解决方法.txt 1.01kb
| | | ├──scrapy报错01.png 303.99kb
| | | ├──scrapy报错02.png 630.04kb
| | | ├──scrapy报错03.png 66.59kb
| | | └──_handleSignals.png 240.25kb
| | └──代码
| | | ├──Douban
| | | ├──27-1 scrapy框架介绍.py 0.58kb
| | | ├──27-2 scrapy框架工作原理.py 1.43kb
| | | ├──27-3 scrapy项目搭建.py 0.60kb
| | | └──27-4 作业布置.py 0.52kb
| ├──28-scrapy数据提取
| | ├──PPT
| | | └──28-scrapy数据提取保存.pptx 1.96M
| | └──代码
| | | ├──Douban
| | | └──28-1 scrapy工作流程原理.py 5.08kb
| ├──29-scrapy详情页&翻页
| | ├──PPT
| | | └──29-scrapy详情页&翻页.pptx 1.52M
| | └──代码
| | | ├──Douban
| | | ├──29-1 项目流程.py 0.47kb
| | | ├──29-2 另外一种scrapy保存方式.py 0.22kb
| | | ├──29-2 另外一种开启scrapy的方式.py 0.22kb
| | | ├──29-4 详情页数据获取.py 1.90kb
| | | ├──29-5 翻页.py 0.24kb
| | | └──29-6 作业布置.py 0.35kb
| ├──30-scrapy中间件&post请求
| | ├──PPT
| | | └──30-scrapy中间件&post请求.pptx 1.52M
| | └──代码
| | | ├──Douban
| | | ├──NEWS
| | | ├──XIAOSHUO
| | | ├──30-1 总结.py 0.96kb
| | | ├──30-2 中间件参数的添加.py 2.16kb
| | | ├──30-2 中间件介绍.py 1.00kb
| | | └──30-3 scrapy发送post请求.py 0.21kb
| ├──31-crawlspider&图片管道
| | ├──PPT
| | | └──31-crawlspider&图片管道.pptx 1.52M
| | └──代码
| | | ├──Douban
| | | ├──Pic
| | | ├──31-1 crawlspider模板介绍.py 2.82kb
| | | └──31-2 图片管道介绍.py 0.75kb
| └──32.scrapy-redis分布式爬虫
| | ├──PPT
| | | └──32-分布式爬虫.pptx 1.88M
| | └──代码
| | | ├──Douban
| | | ├──32-1 scrapy-redis分布式爬虫.py 3.71kb
| | | ├──32-2 scrapy-redis配置模板.py 2.12kb
| | | └──32-3 面试tips.py 0.35kb
├──2.安装包
| └──安装包