- 博客(4)
- 收藏
- 关注
RSS订阅原创 爬虫部署
爬虫部署需要先下载插件 pip3 install scrapyd scrapyd：是运行scrapy爬虫的的服务程序，它支持以http命令方式发布，删除，启动，停止爬虫程序。而且，scrapyd可以同时管理多个爬虫还可以有多个版本 pip3 install scrapyd-client scrapyd-client：是发布爬虫需要使用的另一个专用共具，就是将代码打包为EGG文件，其次需要将EGG...
2019-09-22 20:10:21
204
原创 scrapy_redis分布式爬虫
scrapy_redis分布式爬虫总结 scrapy_redis：Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：reqeust去重，爬虫持久化，和轻松实现分布式 使用scrapy_redis好处 reqeust去重，爬虫持久化，和轻松实现分布式 提供了下面四种组件 Scheduler Duplication Filter Item Pipeline Base...
2019-09-22 20:10:11
160
原创 爬虫复习2
Requests的使用 按住方式：pip3 install requests 1、response的常用方法： 一、get请求 print(response.text) #页面源码 print(response.status_code) # 状态吗 print(response.headers) # 响应头 print(response.request.headers) #获取请求头 print(...
2019-09-10 08:41:52
129
原创 python爬虫复习总结1
* 基本库的使用 * urllib 1.发送请求 2.处理异常模块 3.parse解析模块的使用 4.自定义handler 5.robot协议介绍 * requests网络请求库的使用(get、post请求、文件上传、cookies会话维持，代理设置) * 正则表达式： * 匹配规则表、贪婪非贪婪、修饰符、转义匹配 * compile * match * search * fin...
2019-09-09 08:55:39
430
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人