米兔-miny的博客

文章目录一、Scrapy框架原理1、Scrapy特点2、Scrapy安装3、Scrapy架构图4、Scrapy五大组件5、Scrapy工作流程二、Scrapy创建项目三、Scrapy配置文件详解1、项目完成步骤2.3.2 爬虫文件：baidu.py详解3、settings.py详解4、run.py 文件详解5、items.py详解四、案例1、抓取一页数据1.1 创建项目和爬虫文件1.2 items.py文件1.3 写爬虫：guazi.py1.4 管道：pipelines.py文件1.5 全局配置：setti

一、Selenium + PhantomJS | Chrome | Firefox1、Selenium概述定义开源的Web自动化测试工具特点可根据指令操控浏览器只是工具，必须与第三方浏览器结合使用安装Linux: sudo pip3 install seleniumWindows: python -m pip install selenium2、PhantomJS概述定义无界面浏览器(又称无头浏览器) 在内存中进行页面加载，高效使用场景页面

1、Requests介绍2、requests库的安装3、requests库常用的方法4、response对象的常用属性5、使用requests发送get请求5.1不带参数的get请求5.2 带参数的get请求5.2.1查询参数params5.2.2 SSL证书认证参数 verify5.2.3 设置超时时间 timeout5.2.4 代理IP参数 proxies5.3 获取JSON数据5.4 获取二进制数据6、使用requests发送post请...

目录1、生产者与消费者模式2、线程间的通信3、Queue线程安全队列4、课堂案例（Queue在多线程中的使用）5、课堂案例（多线程下载王者荣耀高清壁纸）1）分析URL2）爬取第一页壁纸的url3）存储壁纸4）多线程下载壁纸

目录1、线程的基础内容2、线程与进程的区别3、继承方式实现多线程4、线程的常用方法5、多线程访问全局变量的安全性问题6、锁机制

爬虫之解析数据的4种方式：XPath解析数据、BeautifulSoup解析数据、正则表达式、pyquery解析数据。