- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Scrapy爬虫教程三 详细的Python Scrapy模拟登录知乎
之前爬取携程和51job都是免登陆就能爬取数据的，但是今天爬取知乎的时候就需要登录后才能爬到数据，那我们只能进行模拟登录了。知乎登录分为邮箱登录和手机登录两种方式，通过浏览器的开发者工具查看，我们通过不同方式登录时，网址是不一样的。邮箱登录的地址email_url = 'https://www.zhihu.com/login/email'，手机登录网址是phone_url = 'http://ww...
2018-05-29 11:12:11
1961
1
原创 Scrapy爬虫教程二 浅析最烦人的反爬虫手段
最近一直在弄爬虫，也爬取了知名网站的一些数据(这里只是个人学习使用，不是商用！！！)，大家都知道，爬虫和反爬虫一直以来都是相爱相杀的，爬虫程序员希望破解反爬虫手段，反爬虫程序员希望建立更加有效的反爬虫方式与之抗衡。由于在这阶段进行的爬虫学习中，经常中招，所以今天就简单的总结一下反爬虫的方式。一.BAN IP网页的运维人员通过分析日志发现最近某一个IP访问量特别特别大，某一段时间内访问了无数次的网页...
2018-05-29 11:11:02
3092
3
原创 Scrapy爬虫教程一 Windows下安装Scrapy的方式和问题总结
这阶段闲着没什么事把Python系统的学习了一下，基础学完之后练习着用Django搭建了一个Blog并使用Nginx+Gunicorn部署到阿里云服务器上(不得不佩服阿里云的客服啊，真的很关心我啊，看我服务器快到期了一个劲的给我发邮件，真的是很想念我啊。。。)，想着爬点有意思的网站，最开始只是使用requests和urllib还有http.cookiejar库来模拟网络请求和模拟登录来练习一下基本...
2018-05-29 11:10:17
413
原创 黑马程序员--银行业务调度系统
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-08 21:52:20
353
原创 黑马程序员--交通灯管理系统
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-08 21:45:28
365
原创 黑马程序员--代理
-----------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com-----------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-08 21:43:43
474
原创 黑马程序员--类加载器
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-07 00:02:44
428
原创 黑马程序员--JavaBean与内省
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-07 00:00:01
381
原创 黑马程序员--Jdk5.0新特性
-----------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-06 23:49:41
337
原创 黑马程序员--反射
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-05 13:46:57
317
原创 黑马程序员--网络编程之TCP
-----------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com-----------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-05 13:35:55
335
原创 黑马程序员--网络编程之UDP
网络编程：端口：物理端口：逻辑端口：用于标识进程的逻辑地址，不同进程的标识；有效端口：0~65535，其中0~1024系统使用或保留端口。java 中ip对象：InetAddress.
2014-10-05 13:27:27
401
原创 黑马程序员--多线程同步
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-02 21:33:54
538
原创 黑马程序员--多线程
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-02 21:26:21
418
原创 黑马程序员--IO流之其他
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-02 21:16:24
322
原创 黑马程序员--IO流之PrintStream：打印流
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-10-02 21:11:33
542
原创 黑马程序员--IO流之File类
-----------ASP.Net+Unity开发----.Net培训------------------File类：将文件系统中的文件和文件夹封装成了对象。提供了更多的属性和行为可以对这些文件和文件夹进行操作。这些是流对象办不到的，因为流只操作数据。File类常见方法：1：创建。boolean createNewFile()：在指定目录下创建文件，如果该文件已存在，则不
2014-09-24 23:15:48
410
原创 黑马程序员--IO流之字节流
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-09-24 22:52:33
369
原创 黑马程序员--IO流之字符流
-----------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-09-24 22:37:10
255
原创 黑马程序员--Collections与Arrays
Collections：它的出现给集合操作提供了更多的功能。这个类不需要创建对象，内部提供的都是静态方法。静态方法：Collections.sort(list);//list集合进行元素的自然顺序排序。Collections.sort(list,new ComparatorByLen());//按指定的比较器方法排序。class ComparatorByLen implements
2014-09-13 23:48:08
461
原创 黑马程序员--Map集合
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-09-13 23:42:11
336
原创 黑马程序员--Set集合
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-09-13 23:21:35
277
原创 黑马程序员--List集合
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-09-04 20:56:12
314
原创 黑马程序员--异常
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-09-04 20:52:28
339
原创 黑马程序员--多态
-----------ASP.Net+Unity开发----.Net培训------------------多 态（面向对象特征之一）：函数本身就具备多态性，某一种事物有不同的具体的体现。体现：父类引用或者接口的引用指向了自己的子类对象。//Animal a = new Cat();多态的好处：提高了程序的扩展性。多态的弊端：当父类引用指向子类对象时，虽然提高了
2014-09-04 20:50:08
286
原创 黑马程序员--继承
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-08-31 17:03:49
364
原创 黑马程序员--单例设计模式
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-08-31 16:58:33
359
原创 黑马程序员--static 关键字
-----------ASP.Net+Unity开发----.Net培训-----------------------------ASP.Net+Unity开发----.Net培训------------------详情请查看http://www.itheima.com
2014-08-31 16:57:16
359
原创 黑马程序员--面向对象
------------ASP.Net+Unity开发----.Net培训---------------------------------ASP.Net+Unity开发----.Net培训---------------------详情请查看http://www.itheima.com
2014-08-28 20:31:56
315
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人